若要使用 pandas 读取数据库文件 read_sql,需要知道以下依赖:依赖SQLAlchemy库,而SQLAlchemy库依赖于 PyMySQL。
Pandas在读取数据(csv、xls、sql),都是将全部数据读入内存中,因此在数据量较大时难以实现。所以pandas提供了 chunksize参数,以分块读取大数据文件。
import pandas as pd
from sqlalchemy import create_engine
engine=create_engine('mysql+pymysql://root:123456@127.0.0.1:3306/test?charset=utf8')
sql=pd.read_sql('all_gzdata',engine,chunksize=10000)
使用 create_engine 建立连接:
连接地址:数据库格式(mysql)+程序名(pymysql)+帐号密码@地址端口/数据库名(test),最后指定编码方式