![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
庶说大数据
这个作者很懒,什么都没留下…
展开
-
spark 将hive 中用户画像的数据写入hbase
用户场景:当用户数据量在千万级别的时候,而用户画像的标签却有几百个的时候,通过bulkload 将数据导入hbase ,由于需要对所有数据进行排序所以性能上而且不能出现任何数据重复的情况原创 2021-06-05 11:43:36 · 635 阅读 · 1 评论 -
spark driver 连接RM报错,不断尝试重连
记录一次生产异常,spark driver 连接RM报错,不断尝试重连接,报错如下: 21/04/16 17:00:05 INFO RetryInvocationHandler: java.io.EOFException: End of File Exception between local host is: "prod-hadoop01/172.19.51.11"; destination host is: "prod-hadoop03":8032; : java.io.EOFException; Fo原创 2021-04-18 12:00:22 · 658 阅读 · 3 评论