完成假数据任务

 

mysql  语句 

select  count(DISTINCT FORMAT(lon,4),FORMAT(lat,4) ) a,vin,from_unixtime(start_timen,'%Y-%m-%d') FROM car_trip_info_tmp GROUP BY vin,from_unixtime(start_timen,'%Y-%m-%d');
 

目前统计出 一辆车在每天跑的目的地数。根据车和时间group by，然后根据截取的经纬度字符串进行去重统计。

 

然后用spark，做数据处理，目的是得到车和所有天数目的地数的平均数量。