【学习记录】对爬虫爬到的数据进行数据清洗

1. 爬虫爬到的数据保存为csv文件

import pandas as pd

path = 'D:\\somepath\\2013HK.csv'  # csv文件绝对路径
pd.read_csv(path, index_col='taken_time', parse_dates=['taken_time'])[['photo_id','username','taken_time','lon','lat']]  # 打开csv文件，将'taken_time'列作为索引列，将'taken_time'列转为时间类型

2.删除经纬度不在香港行政区范围内的数据

df = df.loc[113.815684<df['lon']]
df = df.loc[df['lon']<114.499703]
df = df.loc[df['lat']<22.566546]
df = df.loc[22.134935<df['lat']]
df.to_csv(path, sep=',', header=True, index=False)  #把data写回csv文件中