【python数据分析】—练习01商铺数据清洗

【项目01】 商铺数据加载及存储

数据集及源码https://github.com/JCATHoney/python-data-analysis

作业要求：

1、成功读取“商铺数据.csv”文件
2、解析数据，存成列表字典格式：[{‘var1’:value1,‘var2’:value2,‘var3’:values,…},…,{}]
3、数据清洗：
① comment，price两个字段清洗成数字
② 清除字段缺失的数据
③ commentlist拆分成三个字段，并且清洗成数字
4、结果存为.pkl文件

源数据格式

1、读取数据

# 设置路径，方式，编码
f=open('C:/Users/Away/Desktop/data/商铺数据.csv','r',encoding='utf8')
#前10行数据
for i in f.readlines()[:10]:
#     print(i.split(',')[-1])
#整体按照逗号划分，最后一个字段为commentlist,再将其按照空格划分成3个字段
    print(i.split(',')[-1].split('                                '))
f.seek(0)

2、数据清洗和排除缺失数据

整体思路：
对不同的字段的处理写对应函数，对于缺失数据给统一标记最后一起处理。

#处理点评条数
def fcm(s):
    if '条' in s