![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark集群
不要沉默我
这个作者很懒,什么都没留下…
展开
-
使用sparkstreaming计算uv并存入redis集群
使用sparkstreaming计算uv并存入redis集群 首先这是我存入kafka的待分析数据(\t隔开): 192.168.101.2 - - 200 3717 97 1594541195000 POST /ibikeSeries/findNearAll HTTP/1.1 https://servicewechat.com/wx7986c9c17e13557a/devtools/page-frame.html Mac OS X (iPhone) Mobile Safari 192.168.101.2原创 2020-07-16 22:25:57 · 458 阅读 · 0 评论 -
关于spark集群内存问题
在使用spark集群运行任务的时候会遇到内存不够的情况: error:Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 这种时候就需要扩大你虚拟机的内存,但还有一种情况是你虚拟机 Spark Executor Memory参数设置的不对,导致spark拿不到自己所需要的内存 ...原创 2020-07-08 16:07:50 · 701 阅读 · 0 评论