hadoop 相关配置(未完成)

1.core-site.xml


fs.default.name:用于指定HDFS的namenode和默认的文件系统。


hadoop.tmp.dir:HDFS的存储目录。默认值是/tmp/hadoop-${user.name}.LINUX系统中,在服务重启以后,会把/tmp下的目录清空,所以这个一定要重新配置。配置之后需要格式化namenode


io.file.buffer.size 作为hadoop缓冲区,用于hadoop读hdfs和写hdfs的文件,默认是4k,但是一般可以设为128k


II.hdfs-site.xml


1 dfs.replication:相应的数值是文件的备份的数目。默认为3


2 dfs.name.dir: namenode存储永久性的元数据的目录列表,默认值是 ${hadoop.tmp.dir}/dfs/name.典型的配置如下
<property>
<name>dfs.name.dir</name>
<value>/disk1/hdfs/data,/disk2/hdfs/data</value>
<final>true<final>
</property>
其中的逗号表示两个地方存放的内容一样




3 dfs.data.dir: datanode存放数据块的目录列表。默认值是${hadoop.tmp.dir}/dfs/data


4 fs.checkpoint.dir: 辅助namenode存放检查点的目录列表。默认值是${hadoop.tmp.dir}/dfs/namesecondary


5 dfs.webhdfs.enabled 具体参考 blog.csdn.net/iloveyin/article/details/28264027


III.mapred-site.xml


1 mapred.job.tracker: 


2 mapred.local.dir 存储作业中间数据的一个目录列表,作业终止时,数据被清除,默认值是${hadoop.tmp.dir}/mapred/local


3 mapred.task tracker.map.tasks.maximum 任一时刻,运行在tasktracker之上的map任务的最大值 ,默认值是 2


4 mapred.task tracker.reduce.tasks.maxmum 任意时刻,运行在tasktracker之上的reduce任务的最大值 ,默认值是 2
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值