Hadoop-伪分布环境

Hadoop-伪分布环境

下载

下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/

将下载好的文件，通过XFTP传到服务器。

解压

配置环境变量

export HADOOP_HOME=/software/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

输入命令：source /etc/profile

配置XML

配置core-site.xml

<configuration>
    <!-- 指定运行端口 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 指定临时目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop/tmp</value>
    </property>
</configuration>

配置hdfs-site.xml

<configuration>
    <!-- 备份数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

配置mapred-site.xml

<configuration>
    <!-- 配置资源管理器 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

配置yarn-site.xml

<configuration>
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
</configuration>

启动hadoop

第一次：
hdfs namenode -format

# 运行
start-dfs.sh
start-yarn.sh

# 停止
stop-dfs.sh
stop-yarn.sh

出现的问题

启动时，datanode不启动

将配置的临时文件中tmp/data/current文件夹删除，重新格式化，以匹配相同的custosID。

外网无法访问9000与50070端口

将hosts文件映射改为0.0.0.0