数据处理
文章平均质量分 69
82年的哇哈哈
这个作者很懒,什么都没留下…
展开
-
java中多条数据排序后合并成一条 根据场景选择map和tuple
案例:从Es或者数据库中查询出来的数据排序后是如图所示,表示内容:A、B、C、D分别表示一条记录,例如:第一个A表示在网点A执行的上车操作,第二个A表示在网点A执行的下车操作;目标:将相邻相同网点的操作合并成一条记录分析:不能使用List<Map<String, List<Map<<String,Object>>>&g...原创 2018-08-05 10:13:52 · 1318 阅读 · 0 评论 -
storm的act机制原理
act机制总结1、spout发送的一条消息,会有系统生成一个ROOTID(一个64为随机数)2、由于用户在发送数据的时候,指定了meeeageId,所以在发送数据的时候,会创建一个pendingMap map以ROOTID为key,以用户的messageId为valueDataTuple:含有数据ActTuple:不含有数据 含有ROOTID 锚点ID3、sp...原创 2018-08-14 22:24:16 · 756 阅读 · 0 评论 -
Storm的API
1、wordcount2、act实现 3、接口选择4、并行度的设置 待完成...原创 2018-08-15 10:00:48 · 401 阅读 · 0 评论 -
MapReduce流程
MapReduce简介其中Map对数据集上的独立元素进行指定的操作,生成键-值对形式中间结果。Reduce则对中间结果中相同“键”的所有“值”进行规约,以得到最终结果MapReduce主要步骤叙述Map阶段:Step 1:读取输入文件的内容,并解析成键值对(<key, value>)的形式,输入文件中的每一行被解析成一个<key, value>对,每个<...原创 2018-08-13 15:02:35 · 215 阅读 · 0 评论 -
使用map或者List<Tuple>组装数据
组装数据1、使用Map组装 特点key唯一将一个LIst<MergeRow>组装成以下格式:Map<String, List<MergeRow>> result = Maps.newLinkedHashMap();说明:MergeRow是一个对象 根据其中的某一个字段进行组装 例如:网点waybill_no思路:1、首先设计组装成的形式...原创 2018-08-08 21:05:39 · 1259 阅读 · 0 评论 -
Hive执行脚本时传参
使用-hiveconf传参测试脚本-- test.sqlselect 'Start Testing ...';select ${hiveconf:day}, '${hiveconf:url}';select 'Test End!';命令行hive -hiveconf day=20180716 -hiveconf url='www.baidu.com' -S -f t...原创 2018-12-04 16:11:01 · 682 阅读 · 0 评论