大数据
ququ554665630
这个作者很懒,什么都没留下…
展开
-
spark streaming 数据累加启动执行一次报错
本地启动spark streaming 进行数据累加 第一次可以读到远程发的数据 之后报了这个错 程序就down了Exception in task 0.0 in stage 10.0 (TID 4) NullPointerException检查一直找不到问题。后来看到个人也是问1.1 版本报错1.4没有问题。我的spark是1.5.1 突然想起来之前本地一直用的1.6.1昨天远程debug 发现...原创 2018-05-22 23:02:14 · 258 阅读 · 0 评论 -
dstream.foreachRDD 创建连接对象 反序列化失败 解决办法
开发一个采集程序,从客户端发送数据到服务端,服务端传给kafka集群上启动sparkStreaming 接受kafka数据存入HBase遇到一个小坑程序报无法序列化 Htable就是因为dstream.foreachRDD() 是在driver端启动的 创建 hbase连接的时候是在driver端创建的,需要把连接发送到每个worker上时反序列化失败解决办法 参考下面:https://blog...原创 2018-06-03 19:40:10 · 474 阅读 · 0 评论