数据预处理
DiamondTan-覃
人生苦短,我用Python。
展开
-
Python从数据库读取大量数据批量写入文件
使用机器学习训练数据时,如果数据量较大可能我们不能够一次性将数据加载进内存,这时我们需要将数据进行预处理,分批次加载进内存。下面是代码作用是将数据从数据库读取出来分批次写入txt文本文件,方便我们做数据的预处理和训练机器学习模型。#%%import pymssql as MySQLdb #这里是python3 如果你是python2.x的话,import MySQLdb#数据库连接属性原创 2018-02-05 16:26:50 · 16387 阅读 · 5 评论 -
将多个CSV文件合并成一个
#%%import pandas as pd import os SaveFile_Name = r'all.csv' #合并后要保存的文件名 #将该文件夹下的所有文件名存入一个列表 file_list = os.listdir() #读取第一个CSV文件并包含表头 df = pd.read_csv(file_list[0])#将读取...原创 2018-02-23 16:27:13 · 10530 阅读 · 6 评论 -
使用pandas清洗错误数据并保存成CSV文件
import pandas as pdimport numpy as npA319 = np.array(pd.read_csv('A319_lr.txt'))A319_pd = pd.read_csv('A319_lr.txt')unormal = [] # 用于存储不正常数据的行号for i in range(len(A319)): if A319[i][-1] >...原创 2018-05-23 11:21:50 · 3094 阅读 · 0 评论