- 博客(3)
- 资源 (7)
- 收藏
- 关注
原创 Spark Job (thrift-server) 动态分配资源
项目中使用spark 自带的thrift-server做hdfs数据查询统计服务。当数据过多时,thrift-server 需要分配大量的资源,当不需要查询时分配当量的资源又显得非常浪费,因此想到是否有可能动态分配资源。 (thrift-server也是一个job(yarn app),因此这种方法同样适用于一般的spark job)。 目前动态资源分配只适合spark on yarn,配置方式如
2016-01-20 10:44:40 3237
原创 HBase + Phoenix 安装试用
HBase + Phoenix 安装试用闲来无事,试用下hbase+Phoenix。这里有三台主机: node_1 // namenode, zk_1 node_2 // datanode, zk_2 node_3 // datanode, zk_3HBase部署在部署hbase之前环境中安装hadoop,安装教程可以自行搜索,本节主要介绍hbase的部署配置过程。首先,需要下载
2016-01-16 16:50:54 1041
原创 ganglia 报 "Error 1 sending the modular data for" Error解决方法
ganglia 报 “Error 1 sending the modular data for” Error解决方法现象使用ganglia监控集群时,发现有些节点没有数据,查看syslog发现报错如下: Jan 5 16:46:38 test139 /usr/sbin/gmond[21974]: Error 1 sending the modular data for udp_inerror
2016-01-06 10:03:43 2743
Android Programming-浙江大学(有实例)中文
2011-04-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人