最近在学习PySpark,有一个数据集是adult.TXT,里面的脏数据清洗过程主要如下:
- 删除训练集(adult_data.txt)和测试集(adult_test.txt)文件最后一行的换行符号,如果是Linux系统,按G可以直接跳到最后一行
- 删除测试集(adult_test.txt)第一行的乱字符串
- 删除测试集每一行最后的那个英文字符的.
- 把训练集和测试集的txt的英文符号?删除或者替换成0占位符
前面两步是需要人工打开清洗的,后面两步的代码如下:
file="./adult_data.txt"
file_data=" "
with open(file,"r",encoding="utf-8") as f:
for line in f:
line=line.replace(" ?","0")
line=line.replace(".","")
file_data+=line
with open(file,"w",encoding="utf-8") as f:
f.write(file_data)