.csv 文件导入到sql

在参考文档上进行了，遇到的编码乱码问题，

感谢与参考：https://blog.csdn.net/tonydz0523/article/details/82529941#commentBox

https://blog.csdn.net/L1558198727/article/details/83987269

 

##   使用sqlachemy

* 使用Python3 将csv格式存入MySql数据库，用sqlalchemy 要比pymysql 简单一些

安装　pip install sqlalchemy

 乱码问题解决：原csv数据文件有中文，转换到数据库，在数据库名csv_to_sql名后面加?charset=utf8'

#同样先与mysql 建立连接：
import pandas as pd
from sqlalchemy import create_engine
from datetime import datetime
from sqlalchemy.types import NVARCHAR, Float, Integer

# 连接设置 连接mysql 用户名root 密码rootroot 地址localhost：3306 database：csv_to_sql
engine = create_engine('mysql+pymysql://root:rootroot@localhost:3306/csv_to_sql?charset=utf8') #在数据库名csv_to_sql名后面加?charset=utf8'
# engine = create_engine('mysql+pymysql://root:rootroot@localhost:3306/csv_to_sql',encoding='utf8')#加在后面没有用！
# 建立连接
con = engine.connect()
# help(engine.connect)

# ### pandas读取csv文件:,网易财经的股票历史数据含中文，编码为gbk

# ### pandas读取csv文件:,网易财经的股票历史数据含中文，编码为gbk

df = pd.read_csv('./data/tempstock1.csv', encoding='gbk',usecols=[0, 3, 4, 5, 6, 11], parse_dates=['日期'])
df.head()


###类型转换function 
# pandas类型和sql类型转换
def map_types(df):
    dtypedict = {}
    for i, j in zip(df.columns, df.dtypes): #df.columns是属性，df.types是属性和属性的存储类型
        if "object" in str(j):
            dtypedict.update({i: NVARCHAR(length=255)})  #设置属性存储时的类型与长度
        if "float" in str(j):
            dtypedict.update({i: Float(precision=2, asdecimal=True)})
        if "int" in str(j):
            dtypedict.update({i: Integer()})
    return dtypedict


###  存入mysql ：
dtypedict = map_types(df)
# 通过dtype设置类型 为dict格式{“col_name”:type}
df.to_sql(name='later_test12192018', con=con, if_exists='replace', index=False, dtype=dtypedict)