centos安装hadoop

linix安装hadoop

hadoop安装遇到了很多坑,但是收获满满,进入主题

写在前面

1. 任何编辑文件的步骤一定要备份原文件.
2. 安装时要保证网络通畅 可以查看ifconfig 或者 ping www.baidu.com
3. 火狐浏览器安装 sudo yum install firefox

安装

1. 首先看本机有没有Java环境 java -version
2. 如果没有,官网自行下载java环境(linix版)
3. 下载hadoop (我这里用的2.10.1)

http://mirrors.cnnic.cn/apache/hadoop/common/ 

4. 我这里放到了 /usr/local/ 下 mv ***/hadoop压缩包 /usr/local/
5. 解压 tar -xzvf hadoop包
6. 解压即可用 , 进入到hadoop路径下
7. ./bin/hadoop version 如果有版本号即可用
8. vi ./etc/hadoop/core-site.xml
   修改 configuration为以下内容

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

9. vi ./etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

10. cd /usr/local/hadoop
11. ./bin/hdfs namenode -format 格式化
12. cd /usr/local/hadoop
13. ./sbin/start-dfs.sh start-dfs.sh是个完整的可执行文件，中间没有空格
14. 中间输入了三次开机密码
15. 在浏览器输入localhost:50070 ,如果可以访问即可正常使用
16. 也可以用 jsp 查看 pid 号 结合 netstat -tlnp 查看端口号

遇到的一些问题

1. INFO metrics.MetricsUtil: Unable to obtain hostName
   解决方案 :

hosts #查看本机host , 我的是 node1

vi  /etc/hosts

第一行添加  127.0.0.1  node1 node1  

2. 找不到JAVA_HOME
   解决方案
   vi hadoop-env.sh 找到JAVA_HOME 注释原来的内容,换为本机java的绝对地址即可

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.275.b01-0.el7_9.x86_64