- 博客(3)
- 资源 (3)
- 收藏
- 关注
转载 Spark 应用监控告警-Graphite_exporter
Spark 应用监控告警-Graphite_exporter Spark监控和工具 Web界面 事后查看 REST API 度量 高级工具 一、下载graphite_exporter 1.1 修改graphite_exporter_mapping 1.2 启动graphite_exporter 二、Spark配置Graphite metrics 三、启动Spark程序 四、配置Prometheus 4.1 查看Prometheus是否收集到metric
2020-09-15 15:05:34 1629
转载 Spark Sort Based Shuffle内存分析
目前Sort Based Shuffle 是作为默认Shuffle类型的。Shuffle 是一个很复杂的过程,任何一个环节都足够写一篇文章。所以这里,我尝试换个方式,从实用的角度出发,让读者有两方面的收获: 剖析哪些环节,哪些代码可能会让内存产生问题控制相关内存的参数 有时候,我们宁可程序慢点,也不要OOM,至少要先跑步起来,希望这篇文章能够让你达成这个目标。 同时我们会提及一些类名,这
2017-10-16 17:06:55 166
转载 合并Spark社区代码的正确姿势
最近刚刚忙完Spark 2.2.0的性能测试及Bug修复,社区又要发布2.1.2了,国庆期间刚好有空,过了一遍2.1.2的相关JIRA,发现有不少重要修复2.2.0也能用上,接下来需要将有用的PR合到我们内部维护的2.2.0分支上了。 经常有朋友问我是怎么把社区的PR合到自己分支上的,我之前跟他们介绍的做法是基于PR拉分支,在IDEA中单个文件diff合并。如果是偶尔合下社区代码,这种方式也
2017-10-16 10:00:29 249
crm客户关系管理系统附带报表模块
2011-11-01
crm客户关系管理系统
2011-10-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人