- 博客(9)
- 收藏
- 关注
RSS订阅原创 StructedStreaming Excalty-onece的优越性
（1）数据在从kafka出来的时候，每一条数据对应的offsets会写到wal，将对应的offset写入到文件一旦程序挂掉，从wal offset log里面恢复最新的数据，（2）structed streaming的state store机制对于excatly-once的作用首先会维护一个result table在内存中，这里面只存结果数据（比如聚合好的数据），当作数据恢复时，...
2019-04-15 15:54:43
289
2
原创 StructedStreaming总结
1.首先会有一个rawtable 和resultTableresultTable会存着聚合或者join时的中间结果值，每run一次batch，首先根据watermark判断resulttable 里面哪些结果数据应该清除掉，2.window与watermark当一个window被trigger时，会生成一个result，这个result会马上sink到db里面，假如window最终...
2019-02-17 21:38:50
704
原创 hdfs提交多个表出现的问题
当提交多个表，自己认为串行执行时，实际上集群也为所有的表分配了资源，进而占用大量的资源，其主要原因为yarn资源的公平分配, 通过调整excutor-number来限制内存，同时也会出现内存爆掉的情况，提高excutors-memory 值即可 ...
2018-12-25 10:14:16
118
原创 关于common framework做的时候出现的问题
1.自己负责的任务一定要保证质量2.做归一化的处理比较重要3.Oracle本身数据不能实现分布式的读取，因此可以考虑使用多线程的方式去读取数据4.将数据归一化成字符串类型后，对后期的处理非常有用5.rdd dataFrame list之间的相互转换（1)add new value of one columndataFrame.map(row=>Row.fromSeq(...
2018-12-25 10:13:41
373
原创 异常检测系统的相关总结
1.rawData部分的总结（1）行转列sum(case when condition then 0 else 1)row number(order by a,b,c)(2)common 部分traing:rawData=>traning=>save to hdfs monthlypredict:rawData=>featureData=>pred...
2018-12-25 10:12:33
476
原创 suport公司的大数据平台遇到的问题及解决方案总结
1.nohup日志文件中打印schema时，只有一个root？答：打印schema时，若只有一个root单词，说明过滤的时候有问题（很有可能将数据全部过滤掉了）。当时我出现的问题是，application.conf文件中，filter.string这个配置出现大小写的问题。2.数据量比较少（大概比标准的要少1000来行）答：在建表的时候多指定几个primary key3.日志中出现...
2018-12-20 10:11:41
240
原创 spark使用db（Oracle，hive）的一些注意事项
1.在spark 2中saveAsTable 时，要先spark.sql("use telemetry"),并且在save之前这个表一定不存在否则会报save的类型不一致这个exception2.spark在load比较大的表时，直接load会出现卡死的情况，因此可以通过多线程，分成多个时间段，每个时间段起一个线程来load数据3.spark在使用Oracle JDBC执行Oracle...
2018-12-20 10:11:19
196
原创 structed streaming输出模式
structed streaming会维护一个result table,每次trigger以后对里面的数据做改变，改变包括更新旧的数据以及添加新的数据假如sql没有做聚合，那么result table 的改变只有添加假如sql做了聚合，那么result table包括添加和更新旧的数据outputModecomplete：把整个result table输出到外部存储appe...
2018-12-20 10:01:31
649
原创 structed streaming 源码分析
1.load的源码分析 load=>lookupDataSource说白了就是构造logic plan 以及为每一个logic 生成df，一定要注意此时所有df中没有数据2.structed streaming为什么可以实现增量导入主要是因为会维护一个state，这个state就是用来存最新的update的结果，此时我们假如去做group by 那么后面的都相当于key...
2018-12-14 16:15:21
243
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人