hadoop伪分布式模式安装

前言

安装模式

• 本地模式
• 伪分布式模式
• 完全分布式模式

环境

• jdk 1.8
• hadoop 2.8.5

前提条件

• 已安装jdk，以配置jdk环境变量

伪分布式模式安装

/etc/profile配置环境变量

export HADOOP_HOME=/home/wsx/opt/hadoop-2.8.5
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

${HADOOP_HOME}/etc/hadoop/hadoop-env.sh

• 在文件最后添加如下语句

export JAVA_HOME=/home/wsx/opt/jdk1.8.0_241

${HADOOP_HOME}/etc/hadoop/core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/wsx/opt/hadoop-2.8.5/tmp</value>
  </property>
</configuration>

${HADOOP_HOME}/etc/hadoop/hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

${HADOOP_HOME}/etc/hadoop/mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

${HADOOP_HOME}/etc/hadoop/yarn-site.xml

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

使环境变量生效

• 重启pc或者使用source命令，使环境变量生效

格式化hdfs

hdfs namenode -format #初始化hdfs

启动hadoop

start-dfs.sh
start-yarn.sh

执行jps命令

• 以下进程全部运行表明启动成功
• NameNode，SecondaryNameNode，DataNode
• ResourceManager，NodeManager

运行WordCount

echo "hello hi he he" > test.txt
haddop fs -mkdir /input
hadoop fs -put test.txt /input/
cd /home/wsx/opt/hadoop-2.8.5/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.8.5.jar WordCount /input/ /output/
# 注意hdfs中/output/路径要不存在，程序运行成功会在/output/文件夹下生成结果，表明hadoop安装成功