hadoop配置
文章平均质量分 74
快乐程序员
从事hadoop/hbase/hive/impala运维和研究
展开
-
Hadoop集群下线节点
Hadoop提供了Decommission的特性,可以按照以下步骤来操作:1. 在hadoop的conf目录下生成一个excludes的文件,写上需要remove的节点ip 一个节点一行,注意要写ip,不能写Hostname,如: 10.10.70.732. 在hdfs-site.xml中增加配置: dfs.hosts.exc原创 2013-07-15 12:44:37 · 4039 阅读 · 1 评论 -
hadoop的dfs.replication
首先 dfs.replication这个参数是个client参数,即node level参数。需要在每台datanode上设置。其实默认为3个副本已经够用了,设置太多也没什么用。一个文件,上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数,对已经上传了的文件也不会起作用。可以再上传文件的同时指定创建的副本数hadoop dfs -D dfs.replication=1转载 2013-07-01 10:34:13 · 1792 阅读 · 0 评论