Pandas链接Mysql数据库,查询数据库,插入数据库

使用工具

SQLAlchemy

  SQLAlchemy是Python编程语言下的一款开源软件。提供了SQL工具包及对象关系映射（ORM）工具，使用MIT许可证发行。
  可以使用pip命令安装SQLAlchemy模块：

pip install sqlalchemy

 SQLAlchemy模块提供了create_engine()函数用来初始化数据库连接，SQLAlchemy用一个字符串表示连接信息：

'数据库类型+数据库驱动名称://用户名:口令@机器地址:端口号/数据库名'

 链接数据库

# -*- coding: utf-8 -*-

# 导入必要模块
import pandas as pd
from sqlalchemy import create_engine

# 初始化数据库连接，使用pymysql模块
# MySQL的用户：root, 密码:147369, 端口：3306,数据库：mydb
engine = create_engine('mysql+pymysql://root:147369@localhost:3306/mydb')

 查询数据库

# 查询语句，选出employee表中的所有数据
sql = '''
      select * from employee;
      '''

# read_sql_query的两个参数: sql语句， 数据库连接
df =  pd.read_sql(sql, con=engine)
# 输出employee表的查询结果
print(df)

插入数据库

# 新建pandas中的DataFrame, 只有id,num两列
df = pd.DataFrame({'id':[1,2,3,4],'num':[12,34,56,89]})

# 将新建的DataFrame储存为MySQL中的数据表，不储存index列
df.to_sql('mydf', engine, index= False)

print('Read from and write to Mysql table successfully!')

 封装成类

import time
import pandas as pd
import pymysql
from datetime import  timedelta
from sqlalchemy import create_engine

class DataEngine():
    def __init__(self):
         database ='temp_db'
         self.conn =create_engine(f'mysql+pymysql://user_name:user_secret@10.0.11.30:3306/{database}?charset=utf8mb4')
    # 获取运行时间
    def get_time_dif(self,start_time):
        """获取已使用时间"""
        end_time = time.time()
        time_dif = end_time - start_time
        return timedelta(seconds=int(round(time_dif)))

    def insert_data(self,df,database,datatable,if_exists='append'):
        df.to_sql(datatable,self.conn,schema=database,if_exists='append',index=False)
        print(f'插入数据成功需要的时间为{str(self.get_time_dif(start_time))}秒')

    def read_data(self, sql):
        start_time = time.time()
        pd_sql_data = pd.read_sql(sql, con=self.conn)
        print(f'查询数据成功需要的时间为{str(self.get_time_dif(start_time))}秒')
        return  pd_sql_data

# how to use it
#------------------
DE= DataEngine()
DE.insert_data(df,'temp_db','ab_mobile_address',if_exists='append')
DE.read_data('select * from ab_mobile_address limit 100;')

直接copy，无需造轮子，修改数据库的host，账号，密码，使用的数据库即可使用。