pythoncsv文件变成sqlite表数据,使用Python将CSV文件导入sqlite3数据库表

最新推荐文章于 2024-07-27 19:49:30 发布
最新推荐文章于 2024-07-27 19:49:30 发布
阅读量372 收藏 2
点赞数
文章标签： pythoncsv文件变成sqlite表数据

I have a CSV file and I want to bulk-import this file into my sqlite3 database using Python. the command is ".import .....". but it seems that it cannot work like this. Can anyone give me an example of how to do it in sqlite3? I am using windows just in case.

Thanks

解决方案

import csv, sqlite3

con = sqlite3.connect(":memory:")

cur = con.cursor()

cur.execute("CREATE TABLE t (col1, col2);") # use your column names here

with open('data.csv','rb') as fin: # `with` statement available in 2.5+

# csv.DictReader uses first line in file for column headings by default

dr = csv.DictReader(fin) # comma is default delimiter

to_db = [(i['col1'], i['col2']) for i in dr]

cur.executemany("INSERT INTO t (col1, col2) VALUES (?, ?);", to_db)

con.commit()

con.close()

weixin_30667487
关注
python数据格式化后导入数据库_使用Python将CSV文件导入到sqlite3数据库表中
weixin_33176326的博客
12-30 850
import csv, sqlite3 con = sqlite3.connect(":memory:") cur = con.cursor() cur.execute("CREATE TABLE t (col1, col2);") # use your column names here with open('data.csv','rb') as fin: # `with` statement ...
python操作sqlite3 导入csv文件_用Python一键批量将任意结构的CSV文件导入 SQLite 数据库。...
weixin_32656511的博客
01-14 860
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理本文章来自腾讯云 作者：数据森麟私信小编回复01可领取学习资料以及学习视频在这里插入图片描述在这里插入图片描述程序运行动图演示.gif两篇文章使用的数据源是一模一样的。经本人亲测，导入到 SQLite3 的速度要比导入到 Mysql 快的多。这也进一步验证了，处理轻量级数据，SQLi...
Python-csvstosqlite将CSV文件转换成SQLite数据库
08-10
csvs-to-sqlite：将CSV文件转换成SQLite数据库
收藏！用Python一键批量将任意结构的CSV文件导入 SQLite 数据库。
数据森麟
02-06 1400
作者：牛思勉 来源：智能演示上周，推送了一篇：“ 收藏！用Python一键批量将任意结构的CSV文件导入MySQL数据库。” 本文是上篇的姊妹篇，只不过是把数据库换成了...
python_查询sqlite中的数据并导出至csv文件
最新发布
gf1321111的博客
07-27 178
python_查询sqlite中的数据并导出至csv文件
将csv文件存入SQLite数据库
11-16
在两种环境下（windows、Linux）,对csv文件存入数据库的详解
From CSV to SQLite3 by python 导入csv到sqlite实例
12-20
初次使用SQLite，尝试把之前一个csv文件导进去，看了网上各种教程，大多是在SQLite shell模式下使用的，比较麻烦， 这里用了panda，就方便多了，仅作示例供参考。 第一篇开博，想不好写什么，就把这个拎上来吧。 import pandas import csv, sqlite3 conn= sqlite3.connect("dbname.db") df = pandas.read_csv('d:\\filefolder\csvname.csv') df.to_sql('tablename', conn, if_exists='append', index=False) prin
pythoncsv文件变成sqlite表数据_Python将CSV导入sqlite
weixin_39915700的博客
12-09 206
Hi i am trying to import a csv file to a sqlite3 database using python tkinter.I open file using askopenfilename dialog and pass the file to readFile function.def csvFile(self):f1 = askopenfilename()s...
importlite:将CSV文件导入SQLite数据库
05-04
ImportLite：将CSV文件导入SQLite数据库 ImportLite是用于将CSV文件导入SQLite的命令行实用程序。 它既可以从头开始创建表，也可以将数据加载到现有表中。 它还提供高级功能，包括值预处理和数据规范化。 ＃＃目录 ...
读取CSV然后导入到Sqlite3中
qq814889301的博客
11-12 3738
介绍 需要处理数据，MySQL太重，且安装麻烦。后来才想到python自带了sqlite3模块，决定用sqlite3来处理。废话不多说，上代码。 实现代码 # 导入sqlite3和pandas，pandas用于处理数据，简化代码 import pandas as pd import sqlite3 # 先创建一个数据连接 conn = sqlite3.connect("myData.db") # 获取数据 df = pd.read_csv('test.csv', sep='\t') # 使用pandas的
csvs-to-sqlite:将CSV文件转换为SQLite数据库
05-29
csvs到sqlite 将 CSV 文件转换为 SQLite 数据库。 使用浏览和发布该 SQLite 数据库。 基本用法： csvs-to-sqlite myfile.csv mydatabase.db 这将创建一个名为mydatabase.db的新 SQLite 数据库，其中包含一个包含 CSV 内容的表myfile 。 您可以提供多个 CSV 文件： csvs-to-sqlite one.csv two.csv bundle.db bundle.db数据库将包含两个表， one和two 。 这意味着您可以使用通配符： csvs-to-sqlite ~/Downloads/*.csv my-downloads.db 如果您将路径传递到一个或多个目录，脚本将递归搜索这些目录中的 CSV 文件并为每个目录创建表。 csvs-to-sqlite ~/path/to/d
csv导入sqlite工具
08-28
可以方便的将csv文件导入到sqlite数据库中，注意csv一定要utf-8格式，否则导入时会出乱码。
csv导入sqlite及sqlite操作实例，绝对有用
08-24
csv导入sqlite及sqlite操作实例，绝对有用
Python实现将SQLite中的数据直接输出为CVS的方法示例
09-09
主要介绍了Python实现将SQLite中的数据直接输出为CVS的方法,涉及Python连接、读取SQLite数据库及转换CVS格式数据的相关操作技巧,需要的朋友可以参考下
Python中通过文件将数据导入sqlite3
weixin_42098295的博客
03-30 746
Python中，通过csv文件将数据导入sqlite3中，可以使用sqlite3模块将文件中的数据导入到SQLite数据库中。包括简单的demo代码和工具(utiliy)方法代码。
用Python一键批量将任意结构的CSV文件导入 SQLite 数据库。
weixin_49345590的博客
01-12 727
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 本文章来自腾讯云 作者：数据森麟 想要学习Python？有问题得不到第一时间解决？来看看这里“1039649593”满足你的需求，资料都已经上传至文件中，可以自行下载！还有海量最新2020python学习资料。 点击查看 程序运行动图演示.gif 两篇文章使用的数据源是一模一样的。经本人亲测，导入到 SQLite3 的速度要比导入到 Mysql 快的多。这也进一步验证了，处理轻量级
pythoncsv文件变成sqlite表数据_python将csv导入sqlite
weixin_39999025的博客
12-09 352
您好我正在尝试使用python tkinter将csv文件导入sqlite3数据库 . 我使用askopenfilename对话框打开文件，并将文件传递给readFile函数 .def csvFile(self):f1 = askopenfilename()self.readFile(f1)def readFile(self, filename):conn = sqlite3.connect('U...
pythoncsv文件变成sqlite表数据_用Python实现CSV到SQLite的快速数据迁移
weixin_34053992的博客
01-29 238
我有个问题。有数百个CSV文件，每一个大约有1000000行。我需要以一种特定的方式移动数据，但是脚本工作非常慢(它每小时通过10个tosand)。在我的代码：import sqlite3 as liteimport csvimport osmy_file = open('file.csv', 'r')reader = csv.reader(my_file, delimiter=',')date ...
python将csv文件导入sqlite
06-28
### 回答1： 要将CSV文件导入SQLite，您可以按照以下步骤操作： 1. 打开CSV文件并读取其中的数据。 2. 连接到SQLite数据库。 3. 创建一个表格，其中包含与CSV文件中的列相对应的列。 4. 将CSV文件中的数据插入到SQLite表格中。 5. 关闭数据库连接。 以下是一个示例代码： ```python import csv import sqlite3 # 打开CSV文件并读取数据 with open('data.csv', 'r') as file: reader = csv.reader(file) data = [row for row in reader] # 连接到SQLite数据库 conn = sqlite3.connect('mydatabase.db') cursor = conn.cursor() # 创建表格 cursor.execute('''CREATE TABLE mytable (id INTEGER PRIMARY KEY, name TEXT, age INTEGER, gender TEXT)''') # 插入数据 for row in data: cursor.execute('INSERT INTO mytable (name, age, gender) VALUES (?, ?, ?)', row[1:]) # 提交更改并关闭连接 conn.commit() conn.close() ``` 请注意，此示例假定CSV文件的第一行包含列标题。如果不是这种情况，您需要相应地调整代码。 ### 回答2： CSV（Comma Separated Values）是一种常见的文本文件格式，该格式用逗号将数据字段分隔开，每个数据字段占一行。SQLite是一种轻量级的关系型数据库，它可以存储和管理大量的数据。 Python作为一个功能强大的编程语言，提供了许多库和模块用于CSV文件和SQLite数据库的操作。下面我们将详细介绍如何使用Python将CSV文件导入SQLite。 步骤一：安装必要的库 首先，我们需要安装SQLite和csv模块，在Python中使用pip命令可以轻松安装这些模块： ``` pip install sqlite3 pip install csv ``` 步骤二：创建数据库和表 在Python中，我们可以使用sqlite3模块连接到SQLite数据库。在连接到数据库之后，我们需要创建一个表来存储CSV文件中的数据。以下是一个示例代码，用于创建一个名为“employees”的表，这个表有三个列，“ID”，“Name”和“Salary”。 ``` import sqlite3 # 连接到SQLite数据库 conn = sqlite3.connect('employees.db') # 创建一个游标 cursor = conn.cursor() # 创建一个employees表 cursor.execute('''CREATE TABLE employees (ID INT PRIMARY KEY NOT NULL, Name TEXT NOT NULL, Salary REAL);''') # 关闭游标和连接 cursor.close() conn.close() ``` 步骤三：读取CSV文件 现在我们已经创建了数据库和表，下一步就是读取CSV文件。Python的csv模块提供了一种方便的方法来读取CSV文件中的数据。以下是一个示例代码，用于从名为“employees.csv”的文件中读取数据并存储在列表中。 ``` import csv # 打开CSV文件 with open('employees.csv', 'r') as csvfile: # 创建一个CSV阅读器 reader = csv.reader(csvfile) # 跳过标题行 next(reader) # 遍历CSV文件中的每一行 for row in reader: # 将行插入到employee表中 cursor.execute("INSERT INTO employees (ID, Name, Salary) VALUES (?, ?, ?)", row) ``` 步骤四：保存数据并关闭连接 一旦我们已经将数据插入到表中，下一步就是保存数据和关闭连接。 ``` # 提交更改 conn.commit() # 关闭游标和连接 cursor.close() conn.close() ``` 经过这些步骤，我们成功地将CSV文件中的数据导入到SQLite数据库中。在以后的工作中，我们可以轻松地在SQLite数据库中查询、更新、删除和添加数据。 ### 回答3： Python 处理 CSV 文件和 SQLite 数据库都是比较常见的操作，如果能将 CSV 文件导入 SQLite 数据库中，可以方便地进行数据存储和查询等操作。以下是 Python 将 CSV 文件导入 SQLite 数据库的具体方法。 1. 首先需要安装 sqlite3 和 csv 两个模块，一般情况下，Python 自带安装，如果未安装可以使用以下命令安装： ```python import sqlite3 import csv ``` 2. 准备 CSV 文件和 SQLite 数据库，分别将它们放在合适的位置，本例中将代码与数据组织在同一目录下。 3. 连接 SQLite 数据库并创建数据表，代码如下： ```python connection = sqlite3.connect("example.db") cursor = connection.cursor() cursor.execute('''CREATE TABLE example ( ID INT PRIMARY KEY NOT NULL, NAME TEXT, AGE INT, GENDER TEXT, ADDRESS TEXT );''') ``` 4. 读取 CSV 文件，并将数据插入 SQLite 数据库的数据表中，代码如下： ```python with open('example.csv') as csvfile: readCSV = csv.reader(csvfile, delimiter=',') for row in readCSV: cursor.execute('''INSERT INTO example(ID, NAME, AGE, GENDER, ADDRESS) VALUES(?,?,?,?,?)''', (row[0], row[1], row[2], row[3], row[4])) ``` 其中，csv.reader() 方法读取 CSV 文件，delimiter='，' 参数指定分隔符为逗号，逐行读取 CSV 文件中的数据，将其插入 SQLite 数据库的数据表中，使用 execute() 方法执行 SQL 语句。 5. 提交更改： ```python connection.commit() ``` 6. 关闭数据库连接： ```python connection.close() ``` 以上就是 Python 将 CSV 文件导入 SQLite 数据库的详细步骤。需要注意的是，在实际的应用中，要根据自己的数据表结构、数据内容和代码逻辑作出相应的调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值