Centos7部署单机版Hadoop做测试

安装java JDK

• 下载jdk软件包在官网软件包
• 利用sftp上传到目标系统/opt/下
• 在/opt/下解压缩下载的文件
  修改jdk1.8.0_151文件夹的名字为jdk

[root@node4 opt]# tar -zxcf jdk-8u151-linux-x64.tar.gz
[root@node4 opt]# mv jdk1.8.0_151/ jdk/

• 编辑环境变量/etc/profile文件

export JAVA_HOME=/opt/jdk
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

• 列表内容

编译环境变量

[root@node4 jdk]# source /etc/profile
[root@node4 jdk]# $JAVA_HOME
-bash: /opt/jdk: Is a directory

检查java版本

[root@node4 jdk]# source ~/.bashrc
[root@node4 jdk]# java -version
java version "1.8.0_151"
Java(TM) SE Runtime Environment (build 1.8.0_151-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)

安装Hadoop

未完待续

启动HADOOP

安装配置完成后，到HADOOP_HOME\sbin目录下

[root@node4 hadoop]# cd sbin
[root@node4 sbin]# ls
distribute-exclude.sh    start-all.cmd        stop-balancer.sh
hadoop-daemon.sh         start-all.sh         stop-dfs.cmd
hadoop-daemons.sh        start-balancer.sh    stop-dfs.sh
hdfs-config.cmd          start-dfs.cmd        stop-secure-dns.sh
hdfs-config.sh           start-dfs.sh         stop-yarn.cmd
httpfs.sh                start-secure-dns.sh  stop-yarn.sh
kms.sh                   start-yarn.cmd       yarn-daemon.sh
mr-jobhistory-daemon.sh  start-yarn.sh        yarn-daemons.sh
refresh-namenodes.sh     stop-all.cmd
slaves.sh                stop-all.sh

可以看到有很多可执行文件。
执行start-dfs.sh。如果报错误command not found，执行一次source ~/.bash_profile重新试。

[root@node4 sbin]# start-dfs.sh
-bash: start-dfs.sh: command not found
[root@node4 sbin]# source ~/.bash_profile

配置完成后start-dfs.sh可以执行了，但是会报错。是因为还有诸多xml文件没有配置呢。

配置XML文件

需要配置的xml在HADOOP_HOME/etc/hadoop/

[root@node4 hadoop]# pwd
/root/hadoop/hadoop/etc/hadoop
[root@node4 hadoop]# ls
capacity-scheduler.xml      httpfs-env.sh            mapred-env.sh
configuration.xsl           httpfs-log4j.properties  mapred-queues.xml.template
container-executor.cfg      httpfs-signature.secret  mapred-site.xml
core-site.xml               httpfs-site.xml          slaves
hadoop-env.cmd              kms-acls.xml             ssl-client.xml.example
hadoop-env.sh               kms-env.sh               ssl-server.xml.example
hadoop-metrics2.properties  kms-log4j.properties     yarn-env.cmd
hadoop-metrics.properties   kms-site.xml             yarn-env.sh
hadoop-policy.xml           log4j.properties         yarn-site.xml
hdfs-site.xml               mapred-env.cmd

• core-site.xml文件

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/root/hadoop/hadoop/tmp/</value>
</property>

• hdfs-site.xml文件

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

• mapred-site.xml文件，此文件其实不存在，二存在mapred-site.xml.template，所以执行命令mv mapred-site.xml.template mapred-site.xml修改此文件名，指定资源调度框架

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

• yarn-site.xml文件

    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

验证配置

执行start-all.sh成功后，使用jps列出已经启动的服务

[root@node4 sbin]# jps
23233 SecondaryNameNode
19730 ResourceManager
19989 NodeManager
22981 DataNode
22808 NameNode
23580 Jps