使用python将csv的数据导入mysql数据库

111d

本人在使用python将csv导入数据中也是走了很多弯路，浪费大量时间才解决这个问题，以下主要分为两份方法：pymysql和sqlalchemy

第一种为sqlalchemy，是最简便的方法

import pandas as pd
from sqlalchemy import create_engine
#用户名
user_name = 'root'
#密码
pass_word = '123456'
#地址，本机默认为   localhost
adress = 'localhost'
#端口号
port = '3306'
#数据库名称
id = 'rd'
#插入数据库中的表，若不存在则新建
excel_name = 'test16'
#需要导入的数据库的名称
csv_name = '1.csv'


engine = create_engine('mysql+pymysql://{}:{}@{}:{}/{}'.format(user_name,pass_word,adress,port,id))
data = pd.read_csv(csv_name)
data.to_sql(excel_name,engine,chunksize=10000,index=None)
print('成功')

第二种是pymysql导入，较为繁琐，基本上使用的mysql命令导入的

import pymysql
import csv
#*****************需要填写的数据*************
#数据库地址
host = 'localhost'
#用户名
user = 'root'
#密码
passwd = '123456'
#需要新建的数据库的名称
new_shujuku_name = "Asome"
#新建的数据库的表格名
new_excel_table = 'stock'
#需要存储的csv的名字
csv_name = "房屋.csv"



#1.读取csv
csv_file=open(csv_name,'r',encoding='utf-8')
csv_reader=csv.reader(csv_file)
all_data_list = []
#提取表头和对应数据
for single_data in csv_reader:
    #第一行为表头，需要跳过
    if (csv_reader.line_num==1):
        head_list = single_data
    else:
        all_data_list.append(single_data)

#2.建立数据库连接 写自己的Navicat主机、用户名、密码、字符集参数
con = pymysql.connect(host=host, user=user,passwd=passwd, charset='utf8')
#3.判断数据库是否存在，不存在则创建，并建立表格
#填写需要操作的数据库的名称
shujuku_name = new_shujuku_name
# 创建游标对象
cur = con.cursor()
# 检查数据库是否已经存在
cur.execute("SELECT SCHEMA_NAME FROM INFORMATION_SCHEMA.SCHEMATA WHERE SCHEMA_NAME = '{}'".format(shujuku_name))
result = cur.fetchone()
# 如果数据库不存在，则创建它
if not result:
    cur.execute('create database {} character set utf8'.format(shujuku_name))
# 切换到数据库
cur.execute('use {}'.format(shujuku_name))
################创建数据表 名称为：stock 并定义了表中的字段名和字段类型############################
#head_list = ['标题','街道','小区','户型','建筑面积','朝向','装修','楼层','建筑年限','楼形','关注','发布时间','平均价格','总价','地域']
head_txt = ''
for single_head in head_list:
    if single_head!=head_list[-1]:
        head_txt += '{} VARCHAR(20), '.format(single_head)
    else:
        head_txt += '{} VARCHAR(20)'.format(single_head)
print(head_txt)
#构建字段名和类型指令
sqlSentence1 = 'create table  {}({})'.format(new_excel_table,head_txt)
try:
    cur.execute(sqlSentence1)
    print('成功新建数据库')
except:
    print('该数据库已存在！')



#4.向表格中批量插入数据
#循环插入数据
for single_data in all_data_list:
    # 定义要插入的数据
    val1 = tuple(single_data)
    # 将数据转换为元组类型
    val = tuple(val1)
    #print(val)
    head_2_txt = str(head_list).replace('[','').replace(']','').replace('\'','')
    #print('表头2：{}'.format(head_2_txt))
    # 执行插入操作 使用 %s 占位符来表示要插入的数据
    s_txt = ''
    for y in range(len(head_list)):
        if y!= len(head_list)-1:
            s_txt += '%s, '
        else:
            s_txt+='%s'
    #print(s_txt)
    sql = "INSERT INTO {}({}) VALUES ({})".format(new_excel_table,head_2_txt,s_txt)
    #print(sql)
    # 执行数据插入并提交事务
    cur.executemany(sql, [val])
    print(val)
    con.commit()

#5.关闭游标和数据库连接
cur.close()
con.close()

期间还出现的其他问题

1.数据库中文总是？，查询过大量资料，有些说是将编辑连接-高级-编码，改成utf-8，但是我的改了没用，反而是直接改成自动就变正常了！！！！！！！！！！！！