Python实验-网页清洗

最新推荐文章于 2024-07-22 07:08:23 发布

Koethi

最新推荐文章于 2024-07-22 07:08:23 发布

阅读量230

点赞数

本文链接：https://blog.csdn.net/Koehi/article/details/112254345

版权

这篇博客介绍了使用Python进行网页数据清洗的过程，包括创建数据框，按列分组并去除重复元素，自定义函数判断元组中是否存在NaN，然后分别处理含NaN和不含NaN的数据，最后进行数据去重并保存到Excel文件。

摘要由CSDN通过智能技术生成

创建空的df，保存测试数据test_df = pd.DataFrame({‘K1’:[‘C1’,‘C1’,‘C2’,‘C3’,‘C4’,‘C2’,‘C1’],‘K2’:[‘A’,‘A’,‘B’,‘C’,‘D’,np.NaN,np.NaN]})
按K1列进行分组，组内进行unique操作（去除重复元素，返回元组或列表） test_df_unique = pd.DataFrame(test_df.groupby([‘K1’])[‘K2’].agg(‘unique’))
自定义函数判断元组中是否含有nandef has_nan(list):　flag = False　for x in list:　　if x is np.NaN:　　flag = True　　　break　return flag
#自定义函数判断元组中是否不含有nandef no_nan(list): flag = True　for x in list:　　if x is np.NaN:　　flag = Fals　break　return flag
获取k2列含有nan的数据test_df_unique_has_nan = test_df_unique[test_df_unique[‘K2’].apply(has_nan)]
#获取k2列不含有nan的数据test_df_unique_no_nan = test_df_unique[test_df_unique[‘K2’].apply(no_nan)]
管理测试数据，获取源数据test_df_get = test_df[test_df[‘K1’].isin(test_df_unique_has_nan.index.tolist())]
test_df_alone = test_df[test_df[‘K1’].isin(test_df_unique_no_nan.index.tolist())]