- 博客(2)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 使用 jvm-profiler 分析 spark 内存使用
文章目录背景jvm-profiler分析总结背景在生产环境中，为了提高任务提交的响应速度，我们研发了类似 Spark Jobserver 的服务，各种类型的 spark 任务复用已经启动的 Spark Application，避免了 sparkContext 初始化冷启动的过程。但是这些服务的内存是固定的，因此开放了用户自定义 Executor 的权限，不过也带来了很多问题，最典型的就是内存...
2018-10-27 15:53:57
2163
3
原创 AMD & Intel 机器 Spark 性能测试
文章目录配置硬件配置软件配置Benchmark总结配置硬件配置INTEL 机型与 AMD 机型除了CPU其余配置相同。256G DRAM8TB 7.2k HDD * 11960G SSD * 12 * 10GbpsIntel: Intel Xeon Gold 5118 * 2AMD: AMD EPYC 7401P软件配置Spark 2.3.1CentOS 7.4CD...
2018-10-10 09:58:27
1054
spark_prometheus_metrics.json
博客https://blog.csdn.net/lsshlsw/article/details/82670508
spark_prometheus_metrics.json
2018-09-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人