hadoop配置文件

常见的几个配置文件以及描述:

       

文,件名描述
hadoop-en.sh这里可以设置环境变量,如果当前的JDK不在系统的路径下,可以再这里配置你的JAVA_HOME,可以为不同hadoop组件指定不同的JVM选项。可以在这里配置日志目录,master以及slave文件,但在默认的情况下最好不要去改动CDH已有的配置
core-site.xml包含系统的hadoop配置项,比如HDFS URL,hadoop临时目录,以及一些为机架感知的hadoop提供脚本位置,这里的配置将会覆盖core-default.xml中已有的配置项
mapred-site.xmlHDFS设置,例如默认reduce的任务个数  ,默认最小和最大任务内存大小。要查看默认配置可以通过http://hadoop.apache.org/common/docs/1.0.0/mapred-default.html.在这个文件中的设置将会覆盖mapred-default.xml中的设置
hdfs-site.xml包含HDFS配置项,例如默认的复制个数,数据块大小以及是否启动权限。可以通过http://hadoop.apache.org/common/docs/1.0.0/hdfs-default.html来了解默认的配置。在这里,设置将会覆盖hdfs-default.xml默认的配置
masters包含hadoop的Master主机列表,事实上这个名称有点误导性,应该叫做secondary-masters。在本地启动hadoop时,会启动NameNode和JobTracker,并SSH到这个文件所有的节点启动SecondaryNameNode
slaves包含hadoop的slave主机地址列表,当你启动hadoop的时候,他将ssh到其他在这个列表的主机上去启动DataNode和TaskTracker守护进程

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值