hadoop安装文档

hadoop安装文档

1、准备安装文件

tar -zxvf hadoop-2.7.3.tar.gz 

2、修改配置文件

cd /hadoop-2.7.3/etc/hadoop

创建所需文件

mkdir -p /usr/local/hadoop/tmp
mkdir -p /usr/local/hadoop/data

2.1、修改core-site.xml

记得查看一下 9000端口是否被占用 netstat -ntlp

<!-- 指定HDFS中NameNode的地址 -->
<property>
   <name>fs.defaultFS</name>
   <value>hdfs://golaxy2:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/local/hadoop/tmp</value>
</property>

2.2、修改hdfs-site.xml

<!--数据冗余数-->
<property>        
    <name>dfs.replication</name>        
    <value>3</value>
</property>

<!--secondary的地址-->
<property>        
    <name>dfs.namenode.secondary.http-address</name> 
    <value>golaxy2:50090</value>
</property>

<!--关闭权限-->
<property>       
    <name>dfs.permissions</name>        
    <value>false</value>
</property>

2.3、修改 yarn-site.xml

<!-- reducer获取数据的方式 -->
<property>        
    <name>yarn.nodemanager.aux-services</name>        
    <value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>        
    <name>yarn.resourcemanager.hostname</name>       
    <value>主机名1</value>
</property>
<!-- 日志聚集功能使能 -->
<property>        
    <name>yarn.log-aggregation-enable</name>   
    <value>true</value>
</property>
<!-- 日志保留时间设置7天(秒) -->
<property>        
    <name>yarn.log-aggregation.retain-seconds</name>   
    <value>604800</value>
</property>

2.4、修改mapred-site.xml

<!-- 指定mr运行在yarn上-->
<property>        
    <name>mapreduce.framework.name</name>        
    <value>yarn</value>
</property>
<!--历史服务器的地址-->
<property>        
    <name>mapreduce.jobhistory.address</name> 
    <value>主机名1:10020</value>
</property>
<!--历史服务器页面的地址-->
<property>        
    <name>mapreduce.jobhistory.webapp.address</name> 
    <value>主机名1:19888</value>
</property>

2.5、修改 相关sh 路径中jdk地址

hadoop-env.sh、yarn-env.sh、mapred-env.sh（分别在这些的文件中添加下面的路径）export JAVA_HOME=/opt/module/jdk1.8.0_144（注：是自己安装的路径）

which java 
/usr/java/jdk1.8.0_181/

2.6、修改slaves

bigdata111
bigdata112
bigdata113（自己设置的主机名）

3、格式化nameNode

hdfs namenode -format

4、启动hadoop

cd /usr/local/hadoop/sbin
./start-all.sh 

查看是否启动

10.170.130.xxx:50070
10.170.130.xxx:8088
9870

---

利用已经安装过的文件夹安装

1、将文件分发到各个节点并解压

tar -zxvf hadoop.tar

mv hadoop /usr/local/

2、修改配置文件

cd /usr/local/hadoop/etc/hadoop/

vim core-site.xml
vim hdfs-site.xml
vim yarn-site.xml
vim mapred-site.xml

3、修改 相关sh 路径中jdk地址

hadoop-env.sh、yarn-env.sh、mapred-env.sh（分别在这些的文件中添加下面的路径）export JAVA_HOME=/opt/module/jdk1.8.0_144（注：是自己安装的路径）

which java 
/usr/java/jdk1.8.0_181/

4、修改slaves(不填主节点)

bigdata111
bigdata112

5、格式化nameNode

hdfs namenode -format

6、启动hadoop

cd /usr/local/hadoop/sbin
./start-all.sh 

查看是否启动

10.170.130.102:50070
10.170.130.102:8088