![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
菜鸟很菜
菜鸟很菜,仍然要飞~
展开
-
spark如何将数据写入mongo
业务中的数据库使用的mongo,离线使用spark计算的每天统计指标需要累加到历史指标中,然后将结果写到mongo库中。如果mongo库中已经有这条记录则覆盖,mongo库中没有此记录则为新增。官方文档:https://docs.mongodb.com/spark-connector/master/java/write-to-mongodb/根据此文档进行RDD写入,只会覆盖原有数据,不符合需求。Mongo Spark Connector不支持更新RDD,只有Dataset的数据形式..原创 2020-06-23 00:07:59 · 3457 阅读 · 0 评论 -
flink无法消费kafka消息的一次问题记录
flink无法消费kafka的消息,本地开发时也没有错误信息打印,后来排查到注掉addsink()后就可以消费到消息;继续排查发现是写入hbase的配置中,由于地址无法连通导致的。...原创 2020-03-15 00:51:48 · 4221 阅读 · 0 评论 -
HBase: apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /hbase/hbaseid
今天在将flink计算结果写入hbase时,报以下错误:java.util.concurrent.ExecutionException: org.apache.hadoop.hbase.shaded.org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /hbase/hbaseid...原创 2020-01-12 22:41:02 · 6190 阅读 · 1 评论