![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
周幽王丶
善战者,无赫赫战功
展开
-
sparkStreaming拉取kafka010的bug
目前kafka版本中,很多公司在用kafka010,但是在用sparkstreaming去消费kafka时,很多人都会碰到一个错误 Caused by: java.lang.AssertionError: assertion failed: Failed to get records for spark-executor-abcd1 test1 8 1 after polling for 51...原创 2019-01-09 20:54:59 · 721 阅读 · 0 评论 -
sparkstreaming将offset存到hbase
之前一直将offset存到zookeeper,由于streaming程序会对zk有大量的读取操作,故将offset存到zk不太好,现已将offset都改到hbase中 kafka版本:0.10.2.0 spark版本:2.0 hbase表结构:groupid名字作为表名,topic名字作为rowkey,列族为info,分区号作为列名 kafka_offset:group...原创 2019-01-09 21:07:02 · 683 阅读 · 2 评论