使用python将csv数据导入到sqlite中

最新推荐文章于 2024-05-27 09:44:03 发布
最新推荐文章于 2024-05-27 09:44:03 发布
阅读量5.7k 收藏 20
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/barry114/article/details/46648323
版权 
脚本如下：



#!/usr/bin/env python
# -*- coding: utf-8 -*-
import csv
import sqlite3
def  dataImport(csvpath,dbpath,tablename):
    reader = csv.DictReader(open(csvpath,"rb"),delimiter=',',quoting=csv.QUOTE_MINIMAL)
    conn = sqlite3.connect(dbpath)
    # shz: fix error with non-ASCII input
    conn.text_factory = str
    c = conn.cursor()
    create_query = 'CREATE TABLE '+tablename +' ("cn" TEXT,"en" TEXT,"lat" DOUBLE,"lon" DOUBLE,"points" DOUBLE,"count" INTEGER,"intro" TEXT,"photo" TEXT,"url" TEXT,"content" TEXT)' 
    c.execute(create_query)
    for row in reader:
        print row
        to_db = [row['cn'], row['en'],row['lat'],row['lon'],row['points'],row['count'],row['intro'],row['photo'],row['url'],row['content']]
        c.execute('INSERT INTO '+tablename+' (cn, en, lat,lon,points,count,intro,photo,url,content) VALUES (?, ?, ?,?, ?, ?,?, ?, ?,?);', to_db)
    conn.commit()


查看原文：http://www.giser.net/?p=1337
资深iOS开发工程师
关注
  • 2
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
importlite:将CSV文件导入SQLite数据库
05-04
ImportLite：将CSV文件导入SQLite数据库 ImportLite是用于将CSV文件导入SQLite的命令行实用程序。 它既可以从头开始创建表，也可以将数据加载到现有表中。 它还提供高级功能，包括值预处理和数据规范化。 ＃＃目录 命令行参数 架构文件 列 桌子 外键 测验 安装与注意事项 需要Python 2.7或3.2+ 经过SQLite 3.7版测试 与UTF-8编码文件兼容。 使用Python的软件包管理器pip从命令行进行安装。 --pre标志是必需的，因为importlite仍处于预发布阶段； 最新版本是0.1.0。 $ pip install --pre importlite 如果没有pip，也可以从源代码安装： $ git clone https://github.com/KatrinaE/importlite importlite $ cd impo
pythoncsv文件变成sqlite表数据_使用Python将CSV文件导入sqlite 3数据库表
weixin_39934063的博客
12-09 310
明月笑刀无情我的2美分(更通用)：importcsv,sqlite3importloggingdef_get_col_datatypes(fin):dr=csv.DictReader(fin)#commaisdefaultdelimiterfieldTypes={}forentryindr:feildslLeft=[ff...
将csv导入python_将CSV导入sqlite表python
weixin_39942108的博客
12-08 181
Using python, I am trying to import a csv into an sqlite table and use the headers in the csv file to become the headers in the sqlite table. The code runs but the table "MyTable" does not appear to b...
探索数据新维度：csvs-to-sqlite——将CSV文件无缝转换为SQLite数据库
gitblog_00030的博客
05-17 409
探索数据新维度：csvs-to-sqlite——将CSV文件无缝转换为SQLite数据库 项目地址:https://gitcode.com/simonw/csvs-to-sqlite 在处理大量结构化数据时，CSV文件是一种常见且方便的存储方式。然而，当需要更高效的数据管理和查询时，将其转化为关系型数据库会更为实用。今天，我们要向您推荐一个强大的工具——csvs-to-sqlite，它能轻松地将C...
推荐开源神器：CSV到SQLite数据库一键转换——csv2sqlite.py
gitblog_00066的博客
05-27 387
推荐开源神器：CSV到SQLite数据库一键转换——csv2sqlite.py 项目地址:https://gitcode.com/rufuspollock/csv2sqlite 在数据处理和分析的日常工作中，我们经常需要将各种格式的数据导入到数据库中进行管理和查询。今天，我们要向大家推荐一个简单却强大的工具——csv2sqlite.py。它能够快速地将CSV文件加载到SQLite数据库中，并自动检...
Python-csvstosqlite将CSV文件转换成SQLite数据库
08-10
csvs-to-sqlite：将CSV文件转换成SQLite数据库
Python如何将csv写入sqlite
weixin_42608299的博客
12-31 1226
可以使用Python的sqlite3模块来将csv文件写入sqlite数据库。具体步骤如下： 首先，需要导入sqlite3模块，并连接到sqlite数据库。 然后，使用Python的csv模块读取csv文件。 接着，使用sqlite3模块的execute()方法，向数据库中写入数据。 最后，使用sqlite3模块的commit()方法，提交事务。 下面是一个示例代码： import s...
csv导入sqlite(python)
江州司马
07-09 2618
import pandas import csv, sqlite3 conn= sqlite3.connect("dbname.db") df = pandas.read_csv('d:\\filefolder\csvname.csv') df.to_sql('tablename', conn, if_exists='append', index=False) print('ok')
python处理csv文件 sql_利用python将多个CSV文件写入sqllite数据库
weixin_39639286的博客
11-30 452
前面写过用python的pandas模块处理csv表，得到想要的统计结果并用excel不同sheet进行展示。当时处理的CSV是每日的信息表，为了有个纵向的比较，我想把所有信息表（例如整个周或者整月）汇总起来，然后得到每周或者每月的一个统计信息。那第一步我们就将所有的信息表都写入数据库吧，后期只要按照日期列就可以取出不同时间断的所有信息了。思路如下：创建数据库；创建数据表；处理每个文件的文件名得到...
pythoncsv文件变成sqlite表数据_csvs-to-sqlite：将CSV文件转换成SQLite数据库
weixin_39736934的博客
12-09 775
csvs-to-sqlite Convert CSV files into a SQLite database. Browse and publish that SQLite database with Datasette.Basic usage:csvs-to-sqlite myfile.csv mydatabase.dbThis will create a new SQLite datab...
From CSV to SQLite3 by python 导入csv到sqlite实例
09-08
今天小编就为大家分享一篇From CSV to SQLite3 by python 导入csv到sqlite实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Python实现将SQLite中的数据直接输出为CVS的方法示例
09-09
在Python编程中，有时我们需要将数据从SQLite数据库导出到其他格式，以便于进一步的数据处理或分析。本示例将详细介绍如何使用Python将SQLite数据库中的数据转换为CSV（逗号分隔值）文件。CSV是一种通用的数据交换...
收藏！用Python一键批量将任意结构的CSV文件导入 SQLite 数据库。
数据森麟
02-06 1383
作者：牛思勉 来源：智能演示上周，推送了一篇：“ 收藏！用Python一键批量将任意结构的CSV文件导入MySQL数据库。” 本文是上篇的姊妹篇，只不过是把数据库换成了...
SQLite | Python3导入csv到SQLite3
DrugAI
10-02 6422
From CSV to SQLite3 by Python SQLite 创建数据库 sqlite3 drugbank.db #创建drugbank.db数据库 .open drugbank.db #打开drugbank.db数据库 ...
From CSV to SQLite3 by python 导入csv到sqlite
weixin_30784945的博客
03-14 244
'''初次使用SQLite，尝试把之前一个csv文件导进去，看了网上各种教程，大多是在SQLite shell模式下使用的，比较麻烦，　　这里用了panda，就方便多了，仅作示例供参考。 　第一篇开博，想不好写什么，就把这个拎上来吧。'''1 import pandas 2 import csv, sqlite3 3 conn= sqlite3.connect("dbname.db") ...
python数据格式化后导入数据库_使用Python将CSV文件导入到sqlite3数据库表中
weixin_33176326的博客
12-30 832
import csv, sqlite3 con = sqlite3.connect(":memory:") cur = con.cursor() cur.execute("CREATE TABLE t (col1, col2);") # use your column names here with open('data.csv','rb') as fin: # `with` statement ...
用Python一键批量将任意结构的CSV文件导入 SQLite 数据库。
weixin_49345590的博客
01-12 694
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 本文章来自腾讯云 作者：数据森麟 想要学习Python？有问题得不到第一时间解决？来看看这里“1039649593”满足你的需求，资料都已经上传至文件中，可以自行下载！还有海量最新2020python学习资料。 点击查看 程序运行动图演示.gif 两篇文章使用的数据源是一模一样的。经本人亲测，导入到 SQLite3 的速度要比导入到 Mysql 快的多。这也进一步验证了，处理轻量级
sqlite的csv的导入，导出
weixin_30588675的博客
06-03 346
-----------------------------------以下这段，是十分容易百度到的，但它不是csv的导入导出的适用方法，更适合格式化输出，说白了就是方便人看，它会给长文本的字段数据添加空格和适当截断。这些对于需要后续程序处理的导出操作是致命的。 导入命令: .importsqlite> .import 文件名 表名注1: 不要忘了开头的点注2: 这条语句不能用分号结束. 非...
mpu6050陀螺仪使用方法开发教程文档.docx
最新发布
07-30
mpu6050陀螺仪使用方法
python将csv文件导入sqlite
06-28
### 回答1： 要将CSV文件导入SQLite，您可以按照以下步骤操作： 1. 打开CSV文件并读取其中的数据。 2. 连接到SQLite数据库。 3. 创建一个表格，其中包含与CSV文件中的列相对应的列。 4. 将CSV文件中的数据插入到SQLite表格中。 5. 关闭数据库连接。 以下是一个示例代码： ```python import csv import sqlite3 # 打开CSV文件并读取数据 with open('data.csv', 'r') as file: reader = csv.reader(file) data = [row for row in reader] # 连接到SQLite数据库 conn = sqlite3.connect('mydatabase.db') cursor = conn.cursor() # 创建表格 cursor.execute('''CREATE TABLE mytable (id INTEGER PRIMARY KEY, name TEXT, age INTEGER, gender TEXT)''') # 插入数据 for row in data: cursor.execute('INSERT INTO mytable (name, age, gender) VALUES (?, ?, ?)', row[1:]) # 提交更改并关闭连接 conn.commit() conn.close() ``` 请注意，此示例假定CSV文件的第一行包含列标题。如果不是这种情况，您需要相应地调整代码。 ### 回答2： CSV（Comma Separated Values）是一种常见的文本文件格式，该格式用逗号将数据字段分隔开，每个数据字段占一行。SQLite是一种轻量级的关系型数据库，它可以存储和管理大量的数据。 Python作为一个功能强大的编程语言，提供了许多库和模块用于CSV文件和SQLite数据库的操作。下面我们将详细介绍如何使用Python将CSV文件导入SQLite。 步骤一：安装必要的库 首先，我们需要安装SQLite和csv模块，在Python中使用pip命令可以轻松安装这些模块： ``` pip install sqlite3 pip install csv ``` 步骤二：创建数据库和表 在Python中，我们可以使用sqlite3模块连接到SQLite数据库。在连接到数据库之后，我们需要创建一个表来存储CSV文件中的数据。以下是一个示例代码，用于创建一个名为“employees”的表，这个表有三个列，“ID”，“Name”和“Salary”。 ``` import sqlite3 # 连接到SQLite数据库 conn = sqlite3.connect('employees.db') # 创建一个游标 cursor = conn.cursor() # 创建一个employees表 cursor.execute('''CREATE TABLE employees (ID INT PRIMARY KEY NOT NULL, Name TEXT NOT NULL, Salary REAL);''') # 关闭游标和连接 cursor.close() conn.close() ``` 步骤三：读取CSV文件 现在我们已经创建了数据库和表，下一步就是读取CSV文件。Python的csv模块提供了一种方便的方法来读取CSV文件中的数据。以下是一个示例代码，用于从名为“employees.csv”的文件中读取数据并存储在列表中。 ``` import csv # 打开CSV文件 with open('employees.csv', 'r') as csvfile: # 创建一个CSV阅读器 reader = csv.reader(csvfile) # 跳过标题行 next(reader) # 遍历CSV文件中的每一行 for row in reader: # 将行插入到employee表中 cursor.execute("INSERT INTO employees (ID, Name, Salary) VALUES (?, ?, ?)", row) ``` 步骤四：保存数据并关闭连接 一旦我们已经将数据插入到表中，下一步就是保存数据和关闭连接。 ``` # 提交更改 conn.commit() # 关闭游标和连接 cursor.close() conn.close() ``` 经过这些步骤，我们成功地将CSV文件中的数据导入到SQLite数据库中。在以后的工作中，我们可以轻松地在SQLite数据库中查询、更新、删除和添加数据。 ### 回答3： Python 处理 CSV 文件和 SQLite 数据库都是比较常见的操作，如果能将 CSV 文件导入 SQLite 数据库中，可以方便地进行数据存储和查询等操作。以下是 Python 将 CSV 文件导入 SQLite 数据库的具体方法。 1. 首先需要安装 sqlite3 和 csv 两个模块，一般情况下，Python 自带安装，如果未安装可以使用以下命令安装： ```python import sqlite3 import csv ``` 2. 准备 CSV 文件和 SQLite 数据库，分别将它们放在合适的位置，本例中将代码与数据组织在同一目录下。 3. 连接 SQLite 数据库并创建数据表，代码如下： ```python connection = sqlite3.connect("example.db") cursor = connection.cursor() cursor.execute('''CREATE TABLE example ( ID INT PRIMARY KEY NOT NULL, NAME TEXT, AGE INT, GENDER TEXT, ADDRESS TEXT );''') ``` 4. 读取 CSV 文件，并将数据插入 SQLite 数据库的数据表中，代码如下： ```python with open('example.csv') as csvfile: readCSV = csv.reader(csvfile, delimiter=',') for row in readCSV: cursor.execute('''INSERT INTO example(ID, NAME, AGE, GENDER, ADDRESS) VALUES(?,?,?,?,?)''', (row[0], row[1], row[2], row[3], row[4])) ``` 其中，csv.reader() 方法读取 CSV 文件，delimiter='，' 参数指定分隔符为逗号，逐行读取 CSV 文件中的数据，将其插入 SQLite 数据库的数据表中，使用 execute() 方法执行 SQL 语句。 5. 提交更改： ```python connection.commit() ``` 6. 关闭数据库连接： ```python connection.close() ``` 以上就是 Python 将 CSV 文件导入 SQLite 数据库的详细步骤。需要注意的是，在实际的应用中，要根据自己的数据表结构、数据内容和代码逻辑作出相应的调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值