本次实验中,我们需要使用python对杭州市出租车轨迹数据进行清洗。在aistudio平台创建项目,搜索杭州市出租车轨迹数据集。
•使用numpy、pandas等完成“00.csv”文件读取;
#读取数据
#引入folium地图包
!pip install folium
import folium
import pandas as pd
import numpy as np
import time,datetime
#读取文档数据
df=pd.read_csv('/home/aistudio/data/data168432/00new.csv.csv')
print(df)
•剔除无效数据:GPS 采集出租车轨迹数据的过程中,可能因设备问题 导致数据没有采集到,故而在原始轨迹数据集中记录为空值。因此,需 要将每个采样点中有效字段为空值的数据进行剔除,即剔除 DeviceID、 Longitude、Latitude、Speed、Timestamp 或 Status 任意一个字段为 空的数据。
#统计缺失值数据
df.isnull().sum()
#剔除缺失值行无效数据
df = df.dropna()
#输出剔除空值行后的数据
print(df)
•剔除速度异常数据:原始出租车轨迹数据集中 Speed 的单位为 𝑘&#x