centos系统hadoop的学习安装（未完待续）

注：第一次安装学习hadoop

安装环境
centos8.0
java1.8

一，下载hadoop
我从官网搜索并下载的，官网会有几个源，从别的地方搜的下载的都比较慢
我下载的官网的地址为：https://www.apache.org/dyn/closer.cgi/hadoop/common/
在服务器上我直接使用wget进行下载

wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

二，安装
设置伪分布模式（Pseudo-Distributed Operation）
修改etc/hadoop/core-site.xml文件，增加配置（fs.defaultFS：默认文件系统名称）：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改etc/hadoop/hdfs-site.xml文件，增加配置（dfs.replication：文件副本数）：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

格式化文件系统（这里会报一个错误不过好像也没大的事情）

bin/hdfs namenode -format

启动NameNode和DataNode进程（启动hdfs）

./sbin/start-dfs.sh // 启动NameNode和DataNode进程
./sbin/stop-dfs.sh  // 关闭NameNode和DataNode进程

可能会有的报错
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes
解决办法见下下面这篇文章
https://blog.csdn.net/oschina_41140683/article/details/93976752

Error JAVA_HOME is not set and could not be found
可以参考下面这篇文章，其中文件在hadoop-3.2.1/etc/hadoop下
https://www.cnblogs.com/codeOfLife/p/5940642.html

启动YARN

./sbin/start-yarn.sh
./sbin/stop-yarn.sh

然后访问ip加端口号8088可以查看yarn

错误示范，安装成Ubuntu版本了(可能带src的是Ubuntu版本)
1，之后进行解压：tar -xzvf hadoop-3.2.1-src.tar.gz
下面是解压之后的文件

2，之后使用./start-build-env.sh出现以下报错

随后安装docker
我安装docker是按照这篇博客来安装的

Centos7下安装Docker
之后输入./start-build-env.sh
发现缺少ppp。才发现安装错了。