python实现打开cvs文件并导入数据库中

最新推荐文章于 2023-02-02 14:43:12 发布

ouhaibing

最新推荐文章于 2023-02-02 14:43:12 发布

阅读量1k

点赞数

文章标签： python 数据库开发语言

本文链接：https://blog.csdn.net/ouhaibing/article/details/121561886

版权

使用pandas对cvs文件进行解析并导入到数据中心

# -*- coding: utf-8 -*-
import pandas as pd
from sqlalchemy import create_engine
import os
def eachFile(filepath):
    pathDir = os.listdir(filepath)
    #根据文件夹目录，循环所有的文件
    for allDir in pathDir:
        child = os.path.join('%s/%s' % (filepath, allDir))
        print(child)
        cvstosql(child)
def cvstosql(path):
    csv_data = pd.read_csv(path,encoding='ANSI')  # 读取训练数据
    print(csv_batch_data)  # (5, 9)
    db_info = {'user': 'root',
               'password': 'root',
               'host': 'localhost',
               'port': 3306,
               'database': 'test'
               }

    engine = create_engine(
        'mysql+pymysql://%(user)s:%(password)s@%(host)s:%(port)d/%(database)s?charset=utf8' % db_info, encoding='utf-8')
    pd.io.sql.to_sql(csv_data, 'example', con=engine, index=False, if_exists='append')
    print('{}完成'.format(path))

if __name__ == '__main__':
    eachFile('C:/Users/Administrator/Downloads/9month/RPT_202109_126723')