sqlite 数据量_向SQLite批量导入csv,txt数据

将csv或者txt格式的文件导入SQLite一般有两种方式：

• 使用pandas.readcsv()读取后，用to_sql方法写入数据库
• 使用SQLiteStudio创建表格，再导入数据

但是这两种方法在数据量比较大的时候会非常慢，这里提供一种使用官网提供的SQLite.exe命令行的方式

1. 下载SQLite.exe

SQLite Download Page​sqlite.org

下载解压即可

2. 把SQLite.exe和需要导入的csv,txt复制到数据库所在文件夹

3. 运行SQLite.exe

sqlite> .open database.db   #打开数据库
sqlite> .database    #用于验证：显示目前连接的数据库路径
         main: D:python testSQLiteDBdatabase.db

sqlite> .table    #用于验证：显示这个数据库有哪些表格
         tableA

sqlite> .separator ","  #指定分隔符为","
sqlite> .import importdata.txt tableA   # .import FileName TableName

删除表：drop table tableName

Notice:

如果需要导入的表的单元格内容里面包含分隔符","或者"/t"， 会导致导入失败，需要设置一个不常见的分隔符如";"

修改列表分隔符为你想要的符号之后(;), 选择excel的导出功能，导出为csv(逗号分隔), 此时导出的文件就是采用";"分隔符的了

再次使用上面的命令行，指定.separator ";"