- 博客(8)
- 收藏
- 关注
RSS订阅原创 别忘了我们又多活了一秒
北京时间7月早上8点左右，集群收到报警，cpu暴增，经过排查发现hadoop集群没有任何job执行，然而CPU基本是满载，非常奇怪。还好现在集群没有在线服务和比较重要的任务处理。排查毫无头绪。 周一上班，打开各类新闻，北京时间7月1日全球于7：59后增加一秒，出现7：59：60的特殊现象，然后是8：00：00。 紧接着就是互联网行业内都不同程度的受到闰秒影响，造成服务器宕机， ...
2012-07-02 15:05:38
111
原创 2011年年终工作作结
2011,注定是幸运的一年，重要的一年，彻底改变我的一年 这一年，我改变了方向--从以前的j2ee服务器端开发转向了云计算平台方向研究 这一年，我入职傲游，加入了我一直期望的云计算团队 这一年，有付出，也有收获。。。。 付出 几个月的时间里，我直接或间接的参与了许多项目，在项目中不断学习，不断积累，感觉自己每天都有提高，每天都有进步 1、全量同步服务（刚入...
2012-07-01 00:21:44
211
原创 hadoop集群环境部署之shell
【这里记录一下，环境中遇到的一些有用的解决特定问题的shell】 1、如果集群中使用到了chukwa搜集数据，又需要导入hive进行分析，因为load之后，chukwa目录中会留下许多空目录，白白耗费namenode内存 function clear_empty(){
2011-09-20 15:32:25
344
原创 hadoop集群环境部署之rsyncd
可能大家都遇到过一个问题，集群部署过后如果修改的话，比较麻烦 rsyncd可以解决这个问题，让所有从节点与主节点配置同步 rsyncd是个好东西 【注：这里需要和hadoop配置目录下得hadoop-env.sh中得rsyncd区分开，如果在hadoop-env中的rsy
2011-09-20 14:53:40
561
原创 hadoop集群环境部署之cloudera
1、下载所需要软件 http://archive.cloudera.com/cdh/3/hadoop-0.20.2-cdh3u1.tar.gz hadoop http://archive.cloudera.com/cdh/3/hbase-0.90.3-cdh3u1.tar.
2011-09-20 14:39:42
1114
原创 hadoop集群环境部署之chukwa客户端
1、 配置时间同步 /etc/crontab 00 07 * * * root /usr/sbin/ntpdate 60.28.210.10 host映射配置 /etc/hosts 10.0.8.18 namenode-c2.hadoop.maxthon.cn #
2011-09-20 14:34:04
690
原创 hadoop集群环境部署之chukwa
1、tar -zxvf chukwa-0.4.0.tar.gz cp -r chukwa-0.4.0 /usr/local/cdh3u1/ 2、 修改profile文件 export CHUKWA_HOME=$CLOUDER_HOME/chukwa-0.4.0 3
2011-09-20 14:30:45
1072
原创 hadoop集群环境部署之lzo
hadoop 压缩/解压插件 lzo安装说明 1、所需软件 apache-ant-1.8.0-bin.tarant编译工具，必须大于1.7版本，否则有些属性不支持 kevinweil-hadoop-lzo-23e8370.tar用来编译hadoop-lzo-0.4.13
2011-09-20 14:25:44
1075
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人