python处理csv文件 sql_Python,将CSV文件转换为SQL表

1586010002-jmsa.png

I have a csv file without headers and am trying to create a SQL table from certain columns in the file. I tried the solutions given here: Importing a CSV file into a sqlite3 database table using Python,

but keep getting the error that col1 is not defined. I then tried inserting headers in my csv file and am still getting a KeyError.

Any help is appreciated! (I am not very familiar with SQL at all)

解决方案

If the .csv file has no headers, you don't want to use DictReader; DictReader assumes line 1 is a set of headers and uses them as keys for every subsequent line. This is probably why you're getting KeyErrors.

A modified version of the example from that link:

import csv, sqlite3

con = sqlite3.connect(":memory:")

cur = con.cursor()

cur.execute("CREATE TABLE t (col1, col2);")

with open('data.csv','rb') as fin:

dr = csv.reader(fin)

dicts = ({'col1': line[0], 'col2': line[1]} for line in dr)

to_db = ((i['col1'], i['col2']) for i in dicts)

cur.executemany("INSERT INTO t (col1, col2) VALUES (?, ?);", to_db)

con.commit()

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
可以使用Python中的pandas库读取csv文件并将其转换为DataFrame,然后使用DataFrame.to_sql()方法将数据写入SQL数据库中。以下是一个简单的示例代码: ```python import pandas as pd from sqlalchemy import create_engine # 读取csv文件转换为DataFrame df = pd.read_csv('data.csv') # 连接数据库 engine = create_engine('mysql+pymysql://user:password@host:port/database_name') # 将DataFrame写入数据库中的中 df.to_sql('table_name', con=engine, if_exists='replace', index=False) ``` 在上面的代码中,需要将user、password、host、port和database_name替换为实际的值,以便连接到正确的数据库。同时,如果需要追加数据到现有中,可以将if_exists参数的值设置为'append'。 如果需要将头也写入数据库中,可以在执行to_sql()方法之前先使用SQL的CREATE TABLE语句创建一个新,并将头作为的字段名。以下是一个示例代码: ```python import pandas as pd from sqlalchemy import create_engine # 读取csv文件转换为DataFrame df = pd.read_csv('data.csv') # 连接数据库 engine = create_engine('mysql+pymysql://user:password@host:port/database_name') # 获取csv文件头 columns = list(df.columns) # 生成CREATE TABLE语句 create_table_query = f"CREATE TABLE table_name ({', '.join([f'{column} VARCHAR(255)' for column in columns])})" # 执行CREATE TABLE语句 with engine.connect() as connection: connection.execute(create_table_query) # 将DataFrame写入数据库中的中 df.to_sql('table_name', con=engine, if_exists='append', index=False) ``` 在上面的代码中,首先根据csv文件头生成CREATE TABLE语句,并在数据库中创建一个新。然后将DataFrame写入该中,这样头和数据都会被写入数据库中。注意,如果已经存在,可以将if_exists参数的值设置为'append'来追加数据到现有中。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值