def get_data_from_mysql_table(db_url, is_debug=False):
'''pandas>=0.24.0'''
engine = create_engine(db_url, echo=is_debug)
conn = engine.connect()
#获取数据表字段的类型
meta_data = MetaData(bind=engine, reflect=True)
cols,types = [],[]
columns = meta_data.tables[table].columns
for col in columns:
cols.append(col.name)
types.append(str(col.type))
df_col = pd.DataFrame({"COLUMN": cols, "DTYPE": types})
#获取数据
sql = "SELECT * FROM DB.TABLE limit 5000".format(table,column)
df = pd.read_sql(sql, conn)
#类型转换
if df.shape[1] == 0: #过滤 pd.DataFrame()
print("Error! input a wrong param.")
sys.exit(1)
for indexs in df_col.index:
col = df_col.loc[indexs].COLUMN
dtype = df_col.loc[indexs].DTYPE
if dtype.find('INT')>= 0:
python使用sqlalchemy从mysql获取数据后调整为mysql的数据格式
最新推荐文章于 2024-05-10 18:02:59 发布
本文介绍如何利用Python的SQLAlchemy库从MySQL数据库获取数据,并将数据调整为符合MySQL存储格式。通过结合pandas进行数据操作,实现数据的清洗和转换。
摘要由CSDN通过智能技术生成