![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
调优
文章平均质量分 81
公众号【禅与大数据】,欢迎订阅
禅与大数据
展开
-
大数据开发中遇到的鬼魅魍魉,清除30%以上经验总结
大数据开发中遇到的鬼魅魍魉,清除50%以上经验总结@TOC 导语 一部分工作原因,一部分懒,一部分觉得没收益,没怎么写博客。在做大数据的一些事情,与其是做事,不如是找虐。大数据这些开源组件与工具,看上去很美好,实际问题多多,受虐多多。趁着最近对自己做了点思考,写点总结。内容还没想好,后续再添。 小鬼 山鬼 音狱鬼 毒鬼 鬼城主 红邪鬼 蛊之鬼 炼狱鬼 鬼城主 宝仙鬼 宝塔巨鬼 死神鬼 ...原创 2021-01-25 21:33:40 · 209 阅读 · 2 评论 -
使用JMC工具对spark 程序调优(一)
spark调优是一个头疼的事,这个疼在什么地方呢? (1)spark将内部几乎完全封装,类似黑箱,不了解内部机理; (2)spark 调优参数众多,参数之间关联很多; (3)spark运行在集群上,本地调试功能有限。...原创 2018-07-16 11:39:44 · 766 阅读 · 0 评论 -
使用JMC工具对spark 程序调优(二)
待更新原创 2018-07-30 08:58:13 · 397 阅读 · 0 评论 -
使用JMC工具对spark 程序调优(三)
待更新原创 2018-07-30 08:59:09 · 422 阅读 · 0 评论 -
spark集群调优心得
最近公司搞一个spark集群项目,期间会对spark集群进行调优.虽然调优的建议网上有很多,但是通过具体实践,发现不同的场景,调节的参数还是有不一样的地方.现记录一下最近学到的一些实践手段吧. (1)要留一点资源给除spark以外的应用. 我们用的是Spark-On-Yarn资源调度,每台机器有24核心,每台机器最大内存有128G, 在yarn-site.xml里面,有人很可能把核心数和资源原创 2018-11-14 10:30:21 · 1190 阅读 · 0 评论