数据格式
手机信令数据,可依据sid判断用户,lon和lat对应位置的经纬度信息,还有时间和地区街道等信息
数据预处理
首先读取数据,按列选取需要用到的数据,并清洗数据。
data = pd.read_csv('./mobile_0.csv',encoding='GBK')
data = data[['sid','ts', 'lon', 'lat', 'region', 'street', 'address', 'area', 'building',
'category_tags_l1_name', 'category_tags_l2_name', 'category_tags_l3_name', 'poi_name', 'date']]
data = data[~data['region'].isin(["\\N"])] #去除地区缺少的行
data = data[~data['street'].isin(["\\N"])] #去除街道缺少的行
data.reset_index(drop=True, inplace=True)
data.to_csv("all_data_process.csv",index=None,encoding='GBK')
数据分析与处理
依据时间信息,进行简单的分类处理,将10-18时的归为工作地,0-6时的归为居住地。
此处将ts对应的具体时间数据格式转为datatime格式,pandas提供的有内置函数进行转换。
data = pd.read_csv('./all_data_process.csv', encoding='GBK')
data['address_name'] = data['region'] + data['street'] + data['address']
data['ts'] = pd.to_datetime(data['ts'],format='%Y/%m/%d %H:%M')
data