hadoop安装配置文件

1:hadoop-env.sh
2:core-site.xml
3:hdfs-site.xml
4:mapred-site.xml
5:masters
6:slaves
-------------------------------------------------
1:hadoop-env.sh
这里要配置JAVA_HOME
我个人的: exportJAVA_HOME=/usr/java/jdk1.6.0_27
-------------------------------------------------
2:core-site.xml

 

          fs.default.name
          hdfs:master:9000
          true
 
 
          hadoop.tmp.dir
          /home/hb/hadoop/tmp
          true
 

-------------------------------------------------
3:hdfs-site.xml

 
          dfs.name.dir
          /home/hb/hdfs/name
          true
 
 
          dfs.data.dir
          /home/hb/hdfs/data
          true
 
 
          dfs.replication
          2
          true
 

-------------------------------------------------
4:mapred-site.xml

 
          mapred.job.tracker
          master:9001
          true
 

-------------------------------------------------
5:masters
6:slaves
master和slaves分别写入master和slave的主机名
-------------------------------------------------
最后把master中的配置文件复制到两台slave中去,使用scp命令

scp -r ~/hadoop-1.1.2 slave1:~
scp -r ~/hadoop-1.1.2 slave2:~
-------------------------------------------------
注意事项
1:手打的容易出错,比如字母打错,单词拼错都有可能,写完多检查,如有报错就看logs。
2:配置文件里面相关的路径目录要在master和slaves中都有相应的存在。
Hadoop配置文件是用来配置Hadoop集群的参数和属性的文件。它们位于Hadoop安装目录的`etc/hadoop`文件夹中。以下是一些常见的Hadoop配置文件及其详解: 1. **core-site.xml**: 这个配置文件包含了Hadoop核心的配置属性,比如文件系统的默认URI、I/O缓冲区大小和权限检查等。其中一个重要的属性是`fs.defaultFS`,它指定了默认的文件系统URI。 2. **hdfs-site.xml**: 这个配置文件包含了Hadoop分布式文件系统(HDFS)的配置属性。它定义了HDFS的数据块大小、副本数量、存储路径等。其中一个重要的属性是`dfs.replication`,它指定了数据块的副本数量。 3. **mapred-site.xml**: 这个配置文件包含了MapReduce框架的配置属性。它定义了作业跟踪器和任务跟踪器的地址、任务重试次数、任务并行度等。其中一个重要的属性是`mapreduce.framework.name`,它指定了使用的MapReduce框架。 4. **yarn-site.xml**: 这个配置文件包含了YARN(Yet Another Resource Negotiator)资源管理框架的配置属性。它定义了资源管理器和节点管理器的地址、任务分配策略、容器内存大小等。其中一个重要的属性是`yarn.resourcemanager.hostname`,它指定了资源管理器的主机名。 这些只是Hadoop配置文件的一部分,还有其他一些配置文件用于特定组件或插件的配置。每个配置文件都有其特定的作用,通过修改这些配置文件,可以根据集群的需求来定制Hadoop的行为和性能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值