- 博客(2)
- 收藏
- 关注
RSS订阅原创 spark源码编译（maven）
从Spark官网上下载编译好的安装包，并不一定能够满足需要，有时候希望通过阅读和调试Spark源码来深入理解其内部机制，这时候需要自己去手动编译Spark。 Spark可以通过SBT和Maven两种方式进行编译，再通过make-distribution.sh脚本生成分布式的部署包。SBT编译需要安装git工具，而Maven安装则需要maven工具准备：JDK，maven(或sbt)1. 源码下载：
2017-05-16 15:29:31
1708
原创 ganglia的安装部署对spark集群监控
1.ganglia简介 Ganglia 是 UC Berkeley 发起的一个开源监视项目，可以对分布式集群的所有计算资源进行监控。 ganglia由三个组件构成 gmond :（client）是一个守护进程，他运行在每一个需要监测的节点上，收集监测统计，发送和接受在同一个组播或单播通道上的统计信息 如果他是一个发送者(mute=no)他会收集基本指标，比如系统负载（load_one）,CPU利
2017-05-15 15:54:14
3474
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人