假定前面的数据处理已经做好了,现在拿到了适合写入数据库的dataframe表。
开始连接数据库。
1. 导包
from sqlalchemy import create_engine
import pymysql
pymysql.install_as_MySQLdb()
from urllib.parse import quote_plus as urlquote
# mysql连接串的特殊字符处理要用到quote_plus
2. 初始化数据库连接
# 数据库信息
userName = "username"
password = "passwd@789"
dbHost = "127.0.0.1"
dbPort = 3306
dbName = "userdb"
DB_CONNECT = f'mysql+pymysql://{userName}:{urlquote(password)}@{dbHost}:{dbPort}/{dbName}?charset=utf8'
# 初始化连接
engine = create_engine(
DB_CONNECT,
max_overflow=50, # 超过连接池大小外最多创建的连接
pool_size=50, # 连接池大小
pool_timeout=5, # 池中没有线程最多等待的时间,否则报错
pool_recycle=-1, # 多久之后对线程池中的线程进行一次连接的回收(重置)
encoding='utf-8',
echo=False
)
3. 连接数据库并写入dataframe
# 注意这里的用法:pd.io.sql.to_sql()
pd.io.sql.to_sql(datas, name="sc_storeshop", con=engine, if_exists="append", index=False)
# 关闭数据库连接
engine.dispose()