运维
文章平均质量分 77
快乐程序员
从事hadoop/hbase/hive/impala运维和研究
展开
-
Hadoop集群下线节点
Hadoop提供了Decommission的特性,可以按照以下步骤来操作:1. 在hadoop的conf目录下生成一个excludes的文件,写上需要remove的节点ip 一个节点一行,注意要写ip,不能写Hostname,如: 10.10.70.732. 在hdfs-site.xml中增加配置: dfs.hosts.exc原创 2013-07-15 12:44:37 · 4039 阅读 · 1 评论 -
hadoop fsck 命令详解
hadoop fsckUsage: DFSck [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]] 检查这个目录中的文件是否完整 -move 破损的文件移至/lost+found目录转载 2013-07-01 11:12:10 · 1120 阅读 · 0 评论 -
hadoop集群使用规范
一、测试环境使用规范原则上所有提交到正式集群的新作业必须先经过测试环境测试,测试通过之后才能提交到正式环境。 测试环境包括:cdh3u1环境:和正式环境具有相同的hadoop版本,参数配置也基本一致。cdh4u2环境:提供了更高版本的hadoop,该环境安装了NameNode和JobTracker的HA,安装了比hive更快的即时查询impala。 说明:(1)、两原创 2013-07-22 15:11:49 · 2451 阅读 · 0 评论 -
深入剖析HADOOP程序日志
深入剖析HADOOP程序日志 前提本文来自于 博客园 逖靖寒的世界 http://gpcuster.cnblogs.com了解log4j的使用。 正文本文来自于 博客园 逖靖寒的世界 http://gpcuster.cnblogs.com*.log日志文件和*.out日志文件进入我们的Hadoop_LOG目录,我们可以看到如下文件: 在启动Hadoo转载 2013-07-24 14:30:49 · 966 阅读 · 0 评论