- 博客(2)
- 收藏
- 关注
RSS订阅原创 spark+yarn调整计算任务的内存占用
调整的背景公司正式环境有一个小小的spark+hadoop集群，yarn的可用内存只有小小的40G，五个节点，每个节点8G内存，因此需要对每个上线的计算任务占用的资源都要精打细算。写了两个sparkstreaming的任务，发现其中一个任务用了三个container,每个container占用了2G的内存，另外一个任务用了四个container，每个container占用了2G的内存，这样
2016-11-17 08:48:40
4395
原创 kafka安装及常用命令总结
前提条件zookeeper已经安装完毕，分别为hd1:2222,hd2:2222,hd3:2222,hd4:2222,hd5:2222已经在官方网站下载好了二进制包，kafka_2.10-0.10.0.0.tgz将二进制包放到所有要安装kafka的节点上，host指定为：mq1,mq2,mq3,mq4设置zookeeper进入hd1, 切换用户为hadoop用户，进入zooke
2016-11-12 10:26:04
5537
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人