项目篇--处理大数据量的车辆行驶记录

---

【前言】

---

（kafka+redis+hbase+spark+javaweb开发）

集群搭建

一千万条消息的接收和处理，高峰期达到2万条/秒。数据源：用本地JSON文件，用socket发送文件中的数据模拟机具采集发送给云平台。数据接入与实时处理：采用kafka消息中间件接收到数据，过滤不合法的数据，存储到内存数据库Redis作为缓冲。数据存储与分析：采用Spark框架对HBase中的数据进行业务处理，结果存储在HBase中。数据展示：采用Tomcat和前端开发框架，将HBase中的原始数据和分析结果展示出来（Java开发过程）。

云计算集群（六台服务器）：用一台作为Redis和Tomcat服务器（数据缓存和web服务器），两台Kafka服务器（数据接入），三台HBase和Spark服务器（HMaster+2HRegionServer，SparkMaster+2SparkSlave）