记sql大文件切割转存及pandas数据预处理
数据准备: sql文件太大,导入太慢,本文绕过mysql数据库导入导出,直接通过python切分sql,并将数据表结构和数据表数据文件分别存储到相应的sql文件和csv文件,供pandas数据分析用。
数据预处理: pandas处理整列数据太慢,用多线程处理,写入临时文件,在读取排序后生成最终的分析数据
一、数据准备: sql文件切割转存csv文件
mysql文件太大,导入太慢,本文绕过mysql数据库导入导出,直接将sql文件转成对应表的csv文件。
python切分sql,并将数据表结构和数据表数据文件
原创
2020-06-28 23:10:07 ·
1441 阅读 ·
0 评论