# CentOs安装Hadoop单机伪分布式

CentOs安装Hadoop单机伪分布式

---

1. 解压hadoop包

# tar -zxvf ./hadoop-3.1.3.tar.gz

2. JDK已经配置好了可以忽略
3. 编辑hadoop安装文件夹下面的/etc/hadoop/

export JAVA_HOME=/version/java/jdk1.8.0_231/

4. 设置伪分布模式（Pseudo-Distributed Operation）修改etc/hadoop/core-site.xml文件，增加配置（fs.defaultFS：默认文件系统名称）

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

5. 修改etc/hadoop/hdfs-site.xml文件，增加配置（dfs.replication：文件副本数)

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

6. 设置主机允许无密码SSH链接

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa       // 创建公钥私钥对
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys //
chmod 0600 ~/.ssh/authorized_keys // 设置权限，owner有读写权限，group和other无权限

7. 格式化文件系统

bin/hdfs namenode -format

8. 启动NameNode和DataNode进程（启动hdfs）

./sbin/start-dfs.sh // 启动NameNode和DataNode进程
./sbin/stop-dfs.sh  // 关闭NameNode和DataNode进程

9. 启动YARN

./sbin/start-yarn.sh
./sbin/stop-yarn.sh