![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
其他
文章平均质量分 92
TUJC
这个作者很懒,什么都没留下…
展开
-
一、flink
动态根据mysql中租户表的数据开通状态,根据租户名,存入数据到相应hbase表。MapState存储每个设备的规则,key 为sysID + deviceID,value为没规则原创 2022-08-05 19:11:45 · 2697 阅读 · 0 评论 -
Hbase
2) 查询时,指定列族,start/endRow,尽量通过rowkey查询过滤数据,减少filllter的使用。2)用http动作表示对资源的操作: get 查询;hbase用于保存设备采集的数据,一个租户一个表,查询也是直接自从hbase中取数据。(3) 将scan缓存从100增大到500或者1000,用以减少RPC次数。1)用URI表示1种资源,只用名词表示资源,不要动作;查询场景为,查询某设备多测点某时间范围数据。Spring boot 版本 2.5.1。3)用http状态码表示结果。...原创 2022-08-11 12:58:43 · 1198 阅读 · 0 评论 -
一、用--仓
为什么要自定义UDF/UDTF,因为自定义函数,可以自己埋点Log打印日志,出错或者数据异常,方便调试。自定义UDF函数(解析公共字段,一进一出)自定义UDTF函数(解析具体事件字段,一进多出)自定义UDF:继承UDF,重写evaluate方法自定义UDTF:继承自GenericUDTF,重写3个方法:initialize(自定义输出的列名和类型),process(将结果返回forward(result)),close自定义UDF:继承UDF,重写evaluate方法。...................原创 2022-08-07 16:55:36 · 413 阅读 · 1 评论 -
二、工--荐
工业方案的推荐,由用户上传的文章,类似百度文库,存在一定的免费与付费文章。原创 2022-08-06 14:24:18 · 369 阅读 · 0 评论 -
三、轨--监
自主维护offset司机端APP每隔一定时间上报日志数据,经纬度坐标信息,以日志数据的形式进行打印到日志服务器。分为:轨迹日志数据,订单日志数据1)轨迹数据格式说明:一共5个字段司机ID、订单ID、时间戳、经度、纬度2)订单数据格式说明:一共24个字段订单ID、城市ID、订单类型、起终点经纬度 、出行品类、乘车人数的订单属性数据。zk + hadoop + hbase + flume +kafka +redis1)flume:日志数据采集,使用avro source avro sink ..原创 2022-08-06 16:28:53 · 222 阅读 · 0 评论 -
四、业-解
maxwell是一款专业解析mysql的binlog的数据同步的工具,功能与canal类似(canal是阿里开源的一款数据实时同步工具),我们可以通过maxwell或者canal来实现binlog的实时解析,实现数据的实时同步。官方网址:http://maxwells-daemon.io/maxwell与canal的比较1、虽然Maxwell不能直接支持HA,但是它支持断点还原,即错误解决后重启继续上次点儿读取数据。2、Canal是服务端,数据过来了并不能直接写出去,需要一个客户端。............原创 2022-08-07 17:02:02 · 204 阅读 · 0 评论 -
五、业--分
前期将业务库中数据全部都落地到了Hbase当中的四张表里面去了,针对以上订单表,司机表,用户表,司管方表等,我们可以针对以上存储在Hbase当中的数据进行统计分析,通过sparkSQL读取Hbase当中的数据,实现数据的统计分析,然后将统计分析的结果,通过sparkSQL自定义输出源,保存到Hbase里面去。这里涉及到技术点;(1)自定义sparkSQL数据源来实现读取Hbase的数据,(2)自定义sparkSQL的数据保存,将统计的结果保存到Hbase里面去sql语句指标的统计:面试时候需要给别人说原创 2022-08-07 17:02:34 · 265 阅读 · 0 评论