Spark
文章平均质量分 77
记忆力不好
这个作者很懒,什么都没留下…
展开
-
spark源码编译(maven)
从Spark官网上下载编译好的安装包,并不一定能够满足需要,有时候希望通过阅读和调试Spark源码来深入理解其内部机制,这时候需要自己去手动编译Spark。Spark可以通过SBT和Maven两种方式进行编译,再通过make-distribution.sh脚本生成分布式的部署包。SBT编译需要安装git工具,而Maven安装则需要maven工具准备:JDK,maven(或sbt)1. 源码下载:原创 2017-05-16 15:29:31 · 1709 阅读 · 0 评论 -
ganglia的安装部署对spark集群监控
1.ganglia简介 Ganglia 是 UC Berkeley 发起的一个开源监视项目,可以对分布式集群的所有计算资源进行监控。 ganglia由三个组件构成gmond :(client)是一个守护进程,他运行在每一个需要监测的节点上,收集监测统计,发送和接受在同一个组播或单播通道上的统计信息 如果他是一个发送者(mute=no)他会收集基本指标,比如系统负载(load_one),CPU利原创 2017-05-15 15:54:14 · 3474 阅读 · 1 评论