随着城市化的发展和城市人口的增加,现代大都市面临着严重的城市问题,如交通拥堵和不理想的城市资源规划等。近年来,随着技术的快速发展和不同的传感技术的广泛应用,大量的数据已成功收集并且记录了城市的各个方面的状态,这给解决都市问题和创建基于大城市大数据分析的智能城市带来了新的机遇。
尤其针对出租车GPS数据的数据分析更有价值,因为出租车满足了城市中不同人群的不同需求,同时出租车上的GPS定位终端可以定期采集多种信息,包括GPS进纬度坐标,速度,出租车行驶方向,出租车载客状态等,并且采集频率较高,采集持续时间较长,用户量较大,所以出租车的GPS数据规模更大,可获取的信息更加丰富,更加详细。而GPS数据是对用户在物理实践中实现及空间的最直接的描述,所以从出租车GPS的数据中能够挖掘的信息十分丰富。
项目的目的:
综合考虑城市交通的各个因素,帮助用户快速理解复杂城市交通状况及多元因素对城市交通的影响及作用效果,进而分析时需多元数据协同格式化结果的空间局促变化,提炼交通状况,利用出租车移动轨迹属于进一步进行分析模型参数,为交通治理手段提供证据参考,帮助相关部门对交通状况进行评估与决策与评估。
项目的意义:
二、数据描述
1、数据特征的描述
COMMADDR:车辆标识,出租车车牌信息,Int类型
UTC:时间戳,GPS采样时间,Int类型
LAT:经度坐标,出租车所在纬度,Int类型
LON:纬度坐标,出租车所在经度,Int类型
HEAD:方向角,出租车行驶方向,Int类型
SPEED:车辆速度,出租车行驶速度,Int类型
TELAG:车辆状态,出租车载客状态,Int类型
filter_$:全是1,Int类型
2、数据保存到hadoop的hdfs的实现
(1)打开集群
(2)编写代码
package org.example;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.net.URI;
public class HdfsTest {
// 声明FileSystem对象
private FileSystem fs;
/**
* 创建对象,同时创建FileSystem对象
*/
public HdfsTest() {
// 获取classpath下面的xxx-site.xml配置文件,并解析其内容,封装到conf对象中
Configuration config = new Configuration();
// java代码对conf中的配置信息进行手动设置,会覆盖xxx-site.xml中读取的属性值
config.set("fs.defaultFS", "hdfs://192.168.213.70:9000");
URI uri;
try {
uri = new