hugeGraph配置文档之hadoop配置

一 JDK1.8下载及配置
1 卸载自带版本JDK
centos7自带JDK，但它的JDK是阉割版的，并不能满足后续工作的需要，我们需要先将这些JDK删除，然后下载JDK1.8.
查看JDK版本

 rpm -qa | grep java

若显示下面则需要卸载

rpm -e --nodeps  java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
rpm -e --nodeps  java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

卸载完成后进行下面操作。
2 下载JDK
JDK1.8下载地址

选择tar.gar文件下载，现在下载JDK需要创建账户等操作
2 安装及配置
创建安装目录

mkdir /usr/local/java/

解压至安装目录

tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/java/

设置环境变量

vim /etc/profile

末尾添加

export JAVA_HOME=/usr/local/java/jdk1.8.0_171
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

使环境变量生效

source /etc/profile

检查

java -version

出现版本号即配置成功
二 hadoop安装
1下载hadoop（每台机器）
下载地址：hadoop下载，我下载的是hadoop-2.7.5.tar.gz
2 解压到/opt目录下（每台机器、目录根据自己习惯）

tar -zxvf hadoop-2.7.5.tar.gz  -C /opt/

3 配置hadoop环境变量（每台机器）

vim /etc/profile

export HADOOP_HOME=/opt/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin

source /etc/profile

4 配置hadoop（仅master）
4.1 修改slaves文件
需要现将slaves1文件中的localhost删掉，本次使用两个slave节点，让master仅作为NameNode使用，也可以让master既作为NameNode也作为 DataNode，在slaves添加master即可

vim /opt/hadoop-2.7.5/etc/hadoop/slaves 

slave1
slave2

4.2 配置hadoop-env.sh

vim /opt/hadoop-2.7.5/etc/hadoop/hadoop-env.sh

找到# The java implementation to use.将其下面的一行改为：

export JAVA_HOME=/opt/jdk1.8.0_45//jdk位置是到bin目录前一级目录

4.3 配置core-site.xml

vim /opt/hadoop-2.7.5/etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:///opt/hadoop-2.7.5</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:8888</value>
    </property>
</configuration>

4.4 配置hdfs-site.xml

vim /opt/hadoop-2.7.5/etc/hadoop/hdfs-site.xml

dfs.replication 一般设为 3，但这次只使用两个slave，所以 dfs.replication 的值设为 2

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:50090</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///opt/hadoop-2.7.5/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///opt/hadoop-2.7.5/tmp/dfs/data</value>
    </property>
</configuration>

4.5 配置yarn-site.xml

vim /opt/hadoop-2.7.5/etc/hadoop/yarn-site.xml 

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

4.6 配置mapred-site.xml

cd /opt/hadoop-2.7.5/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4.7 将上述配置的文件传到其他节点的/opt/hadoop-2.7.5/etc/hadoop/目录中

scp -r slaves hadoop-env.sh core-site.xml  hdfs-site.xml yarn-site.xml hdfs-site.xml root@slave1:/opt/hadoop-2.7.5/etc/hadoop/
scp -r slaves hadoop-env.sh core-site.xml  hdfs-site.xml yarn-site.xml hdfs-site.xml root@slave2:/opt/hadoop-2.7.5/etc/hadoop/

4.8 启动与停止（仅master）
4.8.1 hdfs启动与停止
第一次启动hdfs需要先格式化：

cd /opt/hadoop-2.7.5
./bin/hdfs namenode -format  

启动：

./sbin/start-dfs.sh

停止：

./sbin/stop-dfs.sh

验证，浏览器输入：http://192.168.44.138:50070

4.8.2 yarn启动与停止

cd /opt/hadoop-2.7.5
./sbin/start-yarn.sh 

./sbin/stop-yarn.sh 

浏览器查看：http://192.168.44.138:8088