R语言与mysql结合处理交通数据及其算法优化

一、序言

交通数据处理是智能交通的一个很关键的要素，更好的分析交通数据，可以为市政管理、交通信号管制、道路规划、交通设施建设提供更好的咨询和建议。全国各地政府都在寄期望于智能交通，以缓解城市拥堵，甚至一定程度上解决大城市病或者说是市政建设滞后的问题。同时，诸如百度地图、谷歌地图、高德地图、微软地图都推出了相应的交通应用，以期找到更大的商机。

用好的存储方法和好的算法进行分析，在批处理方面可以更多的分析历史数据，分析和发现问题，为未来进行预测以及公共查询服务；在实时计算方面可以更多的进行交通监控、突发事件处理、甚至是罪犯跟踪。

因此，寻求好的存储策略，好的计算算法，成为非常必要解决的问题。

二、数据概述及存储

目前交通数据有人流量数据、汽车数据。前者对于有大规模地铁，公共交通的城市十分有用，如北京，上海，其必要前提是能通过设备采集到人流信息，对于城市管理者而言，一卡通是最好的工具。因此，在北京，交通一卡通成为了监测地铁，公交车客流信息的主要采集工具，客流信息的采集准确性也相当高，信息数据的格式也容易控制。而后者，目前主要是通过摄像头拍照采集，存在图像识别度不高，设备故障影响，数据格式半结构化，数据缺失（部分信息没有采集到），脏数据存在（拍到人，自行车）。

对于贵阳这样的三线城市，一卡通还没有普及使用，故而监测公交客流人流信息存在诸多困难。但车流信息由于平安城市的建设，变得各个交通路口存在大量的摄像头以采集数据，从而为车流信息分析提供了可能。

对于贵阳车流信息数据，存储的格式是以日志形式传输到文件服务器，并压缩存储，每天大约有1千万条数据。想要处理这些文本，要分析其格式，并转存于数据库中。

在大数据流行的今天，最好的存储和处理方式当然是放在hdfs上，并用相应的nosql分布式数据库进行管理。但作为初步研究使用，分析的内容没有那么多，财力也没有那么大，所以找了一台小型机，16G的内存，CPU8*2.3MHZ。应用的数据信息也只有时间，拍摄地点，车牌号三个字段，故经过解析文本，直接将者三个字段存储到了mysql中，以便处理。

三、数据处理的目标

初步处理数据的目标有三个：

1. 计算各个路口各个时段的车流量，以五分钟为间隔；
2. 计算出城市交通通行有向图；
3. 计算出各个路段各个时段的车流量，以五分钟为间隔；
4. 根据结果1，画出城市车流信息可视化动态图（全部车流，公交出租车流、本地车流、外地车流，外城车流，柱状图）；
5. 根据结果1，结合gis画出，城市车流可视化图（热力图，柱状图）；
6. 根据结果2,3，画出交通流可视化图；
7. 根据结果1,2,3，对第二天车流拥堵信息进行预测，给出绕行建议。

四、计算过程

目标1，可