利用Python脚本实现Mysql的批量建表以及csv文件的批量导入

最新推荐文章于 2023-01-08 21:21:52 发布
最新推荐文章于 2023-01-08 21:21:52 发布
阅读量1.7k 收藏 8
点赞数 1
分类专栏： 数据库 文章标签： MySQL Python 数据库 csv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuquanfeng123/article/details/100836433
版权
本文介绍了如何使用Python脚本批量创建MySQL表格并导入csv文件。通过Python生成SQL语句并利用.bat文件执行，实现了对大量csv文件的高效处理。详细步骤包括：1) 使用for循环生成表格名称及对应SQL语句；2) 创建.bat文件执行生成的sql.txt文件，完成表格创建；3) 使用类似方法将csv文件批量导入到对应表格中。
摘要由CSDN通过智能技术生成

利用Python脚本实现Mysql的批量建表以及csv文件的批量导入

大标题写给自己！！！！

这是我在CSDN的第一篇文章，即将开启我的数据分析（其实现在我还不知道我以后会做什么，现在几乎脱离了我大学的电子信息工程专业，不过我电子专业也确实没学明白）…之路，即将面临秋招，希望能给自己做个小铺垫吧也就是。

背景

最近在跟学校老师还有研究生学姐做无人飞机项目，我负责数据整理分析，之前学了些python，现在又顺便学了些mysql，最近学姐给了我一份8.8G的csv数据文件，这么大的文件用office打开显示不全，于是用Python对这个8.8G的文件进行切割，切成2000多个60000行的csv小文件，具体切割的代码我就不往上放了。

但是现在问题来了，我一直用mysql进行简单的table创建和把一个一个的csv文件导入和筛选，现在学姐让我弄一年的数据出来，也就是365个文件，在网上找了好多教程找不到mysql的批量处理的语言，其实python应该也可以但是我想能不能把两者结合一下（主要是我不会用python处理 ），于是我想用Python编写大量的mysql语言，用笨方法批量导入。

第一次写文章废话有点多，那么现在废话少说，步入正题。

MySQL批量创建table

这里我用了python的for循环生成了一年的表格名称，顺便生成mysql语句存入txt文件中：

writefile = open('D:/sql2.t
最低0.47元/天 解锁文章
mysql批量建表
01-05
利用mysql存储函数，方便快捷批量建立mysql数据库测试表
python3：批量创建MySQL数据表
放开那只大熊猫
09-16 1184
#!/usr/bin/env python3 # coding: utf-8 # author: hyh import pymysql class CreateTable: def __init__(self, tab_num, host, port, user, passwd, db): self.tab_num = tab_num self.host = host self.port = port self.user = u.
python批量创建数据库表_使用 Pymysql 批量生成数据表
weixin_39787345的博客
12-06 760
下笔原因按照每个网页生成对应的数据表，结构一样， 但表名不同。那么用 pymysql 批量生成应该比较容易, Google下，在stackoverflow和官方文档都没有找到完整示例，自己动手吧，欢迎拍砖。要点写SQL语句时使用注意str 的拼接。实例#!/usr/bin/env python3# -*- coding: utf-8 -*-import pymysql.cursorstablena...
python的mysql数据库建立表
实践求真知
11-22 7917
一 代码 import pymysql # 打开数据库连接 db = pymysql.connect("localhost","root","root","db_test01" ) # 使用 cursor() 方法创建一个游标对象 cursor cursor = db.cursor() # 使用 execute() 方法执行 SQL，如果表存在则删除 cursor.execute("
python mssql bulk_Python：使用pymssql批量插入csv文件到数据库测试
weixin_39989443的博客
12-11 543
importosimportsysimportpymssqlserver="172.21.111.222"user="Nuser"password="NDb"database="iNek_TestWithPython"defconnectonSqlServer():conn=pymssql.connect(server,user,password,database)cursor=conn.curs...
基于Python批量执行MySQL文件的自动化脚本设计源码
最新发布
10-08
该项目为基于Python的自动化脚本，...源码包含41个文件，包括32个SQL脚本、4个XML文件、1个gitignore文件、1个iml文件、1个Markdown文件、1个CSV文件和1个Python脚本。该脚本适用于需要自动化管理数据库操作的场景。
Shell脚本批量添加CSV数据到MySQL
07-23
本篇将详细介绍如何使用Shell脚本结合CSV文件批量将数据导入MySQL数据库，以提高工作效率。 首先，`prov.csv` 是一个包含CSV（逗号分隔值）格式的数据文件，这种文件类型常用于存储表格数据，易于读写和处理。在本...
python脚本读写csv文件并存储到mysql
04-28
使用python脚本读取csv文件并自动化链接mysql，并且自动化创建数据库表，并自动化将数据存储到表里面，并且支持断点续传
python批量读取csv并入库pg_Python批量读取CSV文件并导入MySQL数据库中
weixin_28684655的博客
12-24 971
问题：本地有一大堆CSV文件需要导入到MySQL中要求：一个CSV文件创建一张表，并以CSV文件名(去掉.csv后缀)命名MySQL表名，CSV文件的字段名作为MySQL中的字段名。因为本地的csv文件大约有1-2k个手动去MySQL中建表然后倒入完全不现实。于是就用Python写了一个脚本，自动读取本地文件夹下的csv文件，导入到MySQL中。准备工作：语言：python 2第三方模块：os，p...
使用Python将csv文件批量写入到MySQL数据库
sqitarn的博客
06-30 1611
因为需要，插入一些数据到数据库，就写了一个简单的批量插入 这里使用的是mysqldb框架 安装的话使用：pip install MySQLdb ## 数据库批量添加 import MySQLdb as mdb from datetime import datetime import time con = None fname = './loc.txt' # 打开文件遍历每一行并分割成一个数组依次存入s当中 with open(fname, 'r+', encoding='utf-8')
Python实现 多进程导入CSV数据到 MySQL
12-23
前段时间帮同事处理了一个把 CSV 数据导入到 MySQL 的需求。两个很大的 CSV 文件， 分别有 3GB、2100 万条记录和 7GB、3500 万条记录。对于这个量级的数据，用简单的单进程／单线程导入 会耗时很久，最终用了多进程的方式来实现。具体过程不赘述，记录一下几个要点： 批量插入而不是逐条插入 为了加快插入速度，先不要建索引 生产者和消费者模型，主进程读文件，多个 worker 进程执行插入 注意控制 worker 的数量，避免对 MySQL 造成太大的压力 注意处理脏数据导致的异常 原始数据是 GBK 编码，所以还要注意转换成 UTF-8 用 cli
使用python读取csv文件快速插入数据库的实例
09-20
今天小编就为大家分享一篇使用python读取csv文件快速插入数据库的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python3 批量获取mysql建表语句
weixin_43320617的博客
01-11 900
应用场景： 需要获取mysql多表跨库建表语句时 import pymysql tables = [""] hosts = [""] user = '' password = "" port = db_host = '' for host in hosts: mysql = pymysql.connect(host=host, user=user, password=password, port=port) cursor = mysql.cursor() for dbtbs in
在MySQL里用csv存储引擎创立一个表，
weixin_42598278的博客
01-08 271
在 MySQL 中，可以使用 CSV 存储引擎创建表。如果要使用 CSV 存储引擎，需要在创建表的语句中使用 ENGINE=CSV 选项，例如： CREATE TABLE test_table ( id INT, name VARCHAR(255), age INT ) ENGINE=CSV; 这样就可以创建一个名为 "test_table" 的表，并使用 CSV 存储引擎存储数据。...
简单的Python脚本-批量生成mysql数据库表
跪下叫我怕怕的博客
03-16 1093
这小脚本主要是方便批量创建数据库表，需求是从A库中找到指定表，提取指定表的SQL创建语句，然后在B库中创建相同具有相同规则的表名。 #!/usr/bin/env python3 # -*- coding: utf-8 -*- ###注意事项### #本脚本为临时编写，所以还有许多不足之处，使用时请看运行命令！ #本脚本是调用外部参数启动运行，使用方式如下： # Python脚本空格加上目标数据表名...
pymysql+csv之数据库批量插入（一）
weixin_45497242的博客
08-30 419
# -- coding: utf-8 -- #批量往数据库插入数据 import csv import pymysql import time from pymysql.converters import escape_string #获取当前时间time1 time1 = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(time.time())) #打开数据文档 file=open(r'文档地址\dxsj.csv',encoding='utf-8') t
利用Python脚本实现向HFSS批量导入变量
南贝塔
04-10 4492
使用Python脚本实现向HFSS批量导入变量。
python批量新增数据库表
weixin_39266845的博客
10-19 586
python批量新增数据库表，可拓展为批量：新增/修改，数据库、数据库表、数据库表的字段。
Python系列之：使用python一次性往mysql数据库创建多张表并插入数据，使用presto查询数据再用pyspark往多张表中插入数据
zhengzaifeidelushang的博客
05-17 959
Python系列之：使用python一次性往mysql数据库创建多张表并插入数据，使用presto查询数据再用pyspark往多张表中插入数据一、安装mysql-connector二、代码批量创建多张表三、一次性往多张表插入数据四、presto查询数据再用pyspark往多张表中插入数据 一、安装mysql-connector pip3 install mysql-connector 二、代码批量创建多张表 mydb = mysql.connector.connect( host="10.10.
用Python一键批量将任意结构的CSV文件导入MySQL数据库。
05-25
可以使用Python中的pandas和MySQLdb库来实现将CSV文件导入MySQL数据库的功能。具体步骤如下： 1. 安装pandas和MySQLdb库： ``` pip install pandas pip install MySQLdb ``` 2. 读取CSV文件到pandas的DataFrame中： ```python import pandas as pd df = pd.read_csv('path/to/your/csv/file.csv') ``` 3. 连接MySQL数据库： ```python import MySQLdb conn = MySQLdb.connect( host='your_database_host', user='your_database_user', passwd='your_database_password', db='your_database_name', charset='utf8' ) ``` 4. 将DataFrame中的数据插入MySQL数据库中： ```python cursor = conn.cursor() # 构造插入语句 sql = 'INSERT INTO your_table_name (column1, column2, column3) VALUES (%s, %s, %s)' # 使用循环逐行插入数据 for row in df.itertuples(): values = (row.column1, row.column2, row.column3) cursor.execute(sql, values) # 提交事务 conn.commit() ``` 5. 关闭数据库连接： ```python cursor.close() conn.close() ``` 将上述代码整合到一个脚本中，并将其应用到任意结构的CSV文件中即可实现批量导入MySQL数据库的功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值