车联网项目学习笔记

学习目标：

了解车联网大数据行业
了解车联网项目系统架构
理解车联网数据量计算方法
掌握json数据解析
掌握复杂json解析方法

---

能掌握的技能：

1 车联网领域大数据系统设计与开发
2 车联网业务类型与指标设计
3 实时数据ETL开发
4 实时数据分析
5 实现Flink结合业务主题解决方案
6 离线数据仓库设计、使用场景、技术栈
7 掌握数据服务接口开发
8 掌握数据报表和数据可视化
9 使用Flink以及关联技术栈解决车联网领域复杂业务

---

实时数据分析：

技术组件	说明
Flink	流批一体计算引擎
Kafka	高吞吐量的消息中间件
Hbase	海量列式存储数据库
Phoenix	为基于Hadoop的OLTP和操作分析提供低延时
Mysql	最流行的关系型数据库管理系统
Hadoop	大数据计算、存储、资源管理引擎
Hive	管理分布式存储中大型数据集
Zeppelin	数据驱动交互式数据分析
Superset	清晰美观的报表开发技术

---

车联网项目整体架构：

车联网项目整体架构

Flink+Kafka 是目前完美的分布式计算解决方案，Kafka提供了一个高吞吐量、高可靠性、持久 性高、以及多样化的消费处理模型，可以用来解决百万级别的数据中生产者和消费者之间数据传输 的问题，Flink提供分布式实时计算能力

海量数据存储

HBase：一个开源的非关系型分布式数据库，它参考了谷歌的BigTable建模，实现的编程语言为Java。
它是Apache软件基金会的Hadoop项目的一部分，运行于HDFS文件系统之上，为 Hadoop 提供
类似于BigTable 规模的服务
Phoenix：一个开源的HBASE SQL层。它不仅可以使用标准的JDBC API替代HBASE client API创建
表，插入和查询HBASE，也支持二级索引、事物以及多种SQL层优化。