- 博客(2)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 spark streaming 广播变量空指针异常问题&广播变量更新
这两天在使用spark中的用到了广播变量，大致逻辑是从Redis中读取黑名单配置，然后广播到各个节点用于异常监控，但是在使用过程中总是报空指针异常，后面百度了很多资料，发现有说Yarn集群中不支持广播变量的，有说Sparkstreaming不支持广播变量更新的，有说是spark闭包问题的等等各种，最后笔者去查了sparkstreaming官方文档才学会了广播变量的正确使用方法，并将过程记录下来。...
2019-12-25 14:32:30
1835
原创 spark streaming任务触发执行时间
相信有不少小伙伴在使用spark streaming做微批次处理的时候有过疑问，就是我设置了Duration然后启动任务，那么我的批次任务每次会在啥时候启动呢？相信对于Duration设置比较小的同学来说并不会关心在什么时候执行，但是对于Duration设置比较大或者对数据延时、资源敏感的同学来说，可能就需要知道我的任务到底会在什么时候出发执行，话不多说，我们直接看源码进入GitHub找到spa...
2019-12-02 15:05:02
1701
1
flume-ng-core-1.7.0.jar
通过修改Flume源码flume-ng-core-1.7.0.jar，解决Flume传出单行日志上限2048的问题，下载替换flume的lib目录下的原flume-ng-core-1.7.0.jar即可
2019-09-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人