Maynor的博客

车联网的概念介绍车联网（ Internet of Vehicles ）指按照一定的通信协议和数据交互标准，在“人-车-路-云“之间进行信息交换的网络。即首先实现汽车智能网联化，再利用各种传感技术，感知车辆状态信息，并借助无线通信网络与大数据分析技术实现交通的智能化管理。

/TODO 7.对电子围栏对象模型，添加uuid和inMysql(车辆是否已存在mysql表中) DataStream outputStream = connectedStreams.flatMap(new ElectricFenceModelFunction());n 车辆是否已存在mysql表中,已存在则设置电子围栏id为uuid，设置当前车辆是否在mysql中为true。电子围栏分析第6大步：90秒翻滚窗口电子围栏对象模型流数据与电子围栏分析结果数据广播流进行connect。

自定义窗口函数，实现对90秒翻滚窗口中的每一个窗口进行计算，计算出电子围栏模型数据结果l 电子围栏模型计算逻辑分析:对单个窗口中的车辆数据根据terminalTime进行排序从redis中获取车辆vin对应的flag标记(车辆在围栏中或不在)遍历DStream的元素对当前一个翻滚窗口中vin有多条数据，计算车辆在围栏中和围栏外的次数u 单个车辆出现在围栏中的次数和单个车辆出现在围栏外的次数u 根据每个vin和窗口间隔时间划分的单个窗口，相邻两条数据当前电子围栏状态，设置电子围栏模型对象。

第二节学习了广播状态，广播状态把流数据广播到所有的下游task，当出现两种流数据需要进行合并与计算时，就需要用到到connect或者union只能连接两个数据流连接的两个数据流类型可以不一致仅作用于DataStream两个DataStream经过connect之后被转化为ConnectedStreams，ConnectedStreams会对两个流的数据应用不同的处理方法，且双流之间可以共享状态可以连接多个流连接数据流的类型必须一致，否则报错。

创建90秒翻滚窗口，计算电子围栏信息(ElectricFenceModel中的值根据车辆是否在围栏内进行设置)原始车辆数据与电子围栏广播流进行合并，生成电子围栏规则模型流数据（DStream）翻滚窗口电子围栏对象模型流数据与电子围栏分析结果数据广播流进行connect。读取已存在电子围栏中的车辆与电子围栏信息(广播流临时结果数据)2.自定义source，实现加载电子围栏与电子围栏车辆数据。5.设置返回结果电子围栏与电子围栏车辆信息数据为广播流。读取电子围栏分析结果表数据并广播。

l 什么是电子围栏？地理围栏是一个虚拟的空间围栏，可以帮助开发者检测人或物何时进入或离开预定义区域，并支持实时报警功能。适用于追踪观测某对象是否在预期的空间范围内。l 电子围栏分析的意义？n 通过大数据找到某人14天内曾经去过的地方是通过电信信号，定位某人手机信号在14天内曾经长时间停留过的地方，同样的道理，通过大数据找车辆，是根据车辆位置数据找到车辆。

项目数据存储分层驾驶行程采样分析业务逻辑驾驶行程分析流程驾驶行程分析任务实现逻辑驾驶行程车辆指标分析。

主类中复用已定义好的session window处理的数据，主类中定义驾驶行程的window function和指定数据写入hbase的自定义hbase sink//TODO 9）根据vin进行分组 KeyedStream < ItcastDataObj , String > keyedStream = tripDriveWatermark . keyBy(ItcastDataObj :: getVin);

l 15分钟划分一个行程是通过采样数据，进行t检验和f检验得出的结果，因此，此处样本数据采集，在确定之前是分别有A（5min）、B（10min）、C（15min）、D（20min），所以样本计算在确定窗口时间之前，应分别设置窗口时间为5、10、15、20分钟。u 获取到每条数据的soc、mileage（累计里程）、speed（车速）、gps（经度+维度）、terminalTime（终端时间）字段，然后将各自字段各自拼接到一个字符串变量中。l 驾驶行程数据筛选入库，为第五节的行程指标采样分析的数据。

窗口分配器将负责将每个传入元素分配给一个或多个窗口，Flink带有针对最常见用例的预定义窗口分配器，即滚动窗口， 滑动窗口，会话窗口和全局窗口。滚动窗口具有固定的大小，并且不重叠。例如，如果您指定大小为5分钟的翻滚窗口，则将评估当前窗口，并且每五分钟将启动一个新窗口，如下图所示：（紫色圆圈表示流的元素，这些元素由某个键（在这种情况下为用户1，用户2和用户3）划分。定义窗口分配器后，需要指定要在每个窗口上执行的计算，这是窗口函数的职责，一旦窗口准备好进行数据处理，就可以处理每个(key控制)窗口的元素。

车辆在一定时间内行驶的里程称为行程，车辆行程由载重行程和空车行程构成。例子：隔壁老王周五准备下班时，开始下雨，于是准备开车去接女友到餐馆吃饭，刚刚行驶五分钟，老王的基友老郝打电话给他，老王把车停在安全的地方，接老郝的电话，老郝告诉老王到他们公司附近的咖啡店坐一坐，共商“赚钱大计”(日常互吹)，老王于是继续开车到老郝公司附近的咖啡店，半个小时，又从咖啡馆开车到女朋友的公司，短暂停顿后，开车去餐馆吃饭，去了一个餐馆，发现需要等很久，等了十分钟后，不愿意继续等，他们驾车去另外一个餐馆吃饭，吃完饭，然后开车回家。

Apache Zeppelin是基于Web的笔记本notebook，支持Spark，Python，SQL，Scala等数据驱动的交互式数据分析和协作文档。Zeppelin Notebook可以满足数据摄取、数据发现、数据分析、数据可视化与协作。可视化支持的开发语言与技术支持Spark、PySpark、SparkR、SparkSQL（包含加载这些模块的依赖）允许无缝连接任何JDBC数据源，PostgrepSQL、MySQL、MariaDB、Redshift、Apache Hive等。

自定义sink，继承RichSinkFunction类，重写open、invoke、close方法（选中）实现RichSinkFunction抽象类，重写父类方法/* 自定义实现车辆明细表数据存储到hbase表中* 经常用于分析的字段存储到hbase独立的表中*/

官网：http://phoenix.apache.org/language/index.htmll Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC API而不是HBase客户端API来创建表，插入数据和对HBase数据进行查询。Phoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描，并编排执行以生成标准的JDBC结果集。

hbase的每一次put操作写入数据，实际上是一个RPC操作，将客户端的数据传输到hbase服务器再返回结果，适合小数据量写入，当需要写入大量数据时，每一次put连接一次RPC连接，会增加连接次数，因此会增加传输时间和IO消耗。l HBase基于列簇存储数据，列簇是表的schema信息的一部分，列是基于列簇为前缀加上属性存储，因此对hbase表进行编码压缩，可以认为是对列数据的压缩。如果是，则不会再次存储数据。上一节写入数据，一条条数据put到表中，对于大量数据的写入，效率极低，因此针对此项进行优化。

可以看到，加盐前的Rowkey默认会在第2个region中，加盐后的Rowkey数据会分布在3个region中，理论上处理后的吞吐量应是之前的3倍。由于前缀是随机的，读这些数据时需要耗费更多的时间，所以Salt增加了写操作的吞吐量，缺点是同时增加了读操作的开销。必须在设计上保证其唯一性，rowkey是按照字典顺序排序存储的，因此，设计rowkey的时候，要充分利用这个排序的特点，将经常读取的数据存储到一块，将最近可能会被访问的数据放到一块。但是这里的量不能太大，如果太大需要拆分到多个节点上去。

使用自定义Hive Sink把数据写入到hive表中，创建SaveErrorDataHiveSink实现步骤：自定义HiveSink，继承RichSinkFunction方法，输入类型为重写open、invoke、close方法l open方法最先执行，用于初始化工作l invoke方法在open之后执行，执行具体任务和逻辑操作l close方法在invoke之后执行，用于释放资源。

读取kafka数据后，对原始数据解析，筛选出解析成功的数据，并把数据转换对象，便于后续逻辑操作。//TODO 7）将json字符串解析成对象 SingleOutputStreamOperator < ItcastDataObj > itcastDataObjStream = dataStreamSource . map(JsonParseUtil :: parseJsonToObject);itcastDataObjStream . printToErr("解析后的数据>>>");

根据kafka属性配置创建FlinkKafkaConsumer，消费kafka数据。创建流式环境，设置检查点、kafka分区发现、任务重启策略，数据积压。数据入库，正确数据入hive与hbase库各一份，错误数据入hive。为了实现代码复用，提高开发效率，创建flink流式处理环境的工具类。u 原始文本为一行可成功解析的json格式数据，且。数据传输过程中，数据会传TSP造成数据丢失；数据采集终端设备故障，导致数据部分丢失。n 得到解析成功的数据，称为正确数据。n 得到解析失败的数据，称为异常数据。

流系统中消息的处理速度跟不上消息的发送速度，会导致消息的堆积，就是数据积压。

不同 StateBackend 之间的性能以及安全性是有很大差异的。通常情况下，在代码中设置检查点存储，MemoryStateBackend 适合应用于测试环境，线上环境则最好选择存在挂在存储在磁盘上的FsStateBackend、RocksDBStateBackend。原始数据实时ETL，读取kafka中的原始json数据，解析json数据，flink实时逻辑开发，数据落地到hive与hbase。根据kafka集群中的数据进行实时ETL过滤，对数据进行划分，并将划分的数据分别落地到不同的数据库中。

创建Flink实时计算子工程