Hadoop-2.5.0 伪分布式搭建

一、准备

• 1.ubuntu 16.04的系统一台。
• 2.jdk-8u121-linux-x64.tar.gz
• 3.hadoop-2.5.0.tar.gz

二、安装JDK

• 1.安装

# tar -zxvf jdk-8u121-linux-x64.tar.gz -C /usr/local/jvm

• 2.配置java环境变量

# vim /etc/profile

JAVA_HOME=/usr/local/jvm/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib

• 3.使配置文件生效

# source /etc/profile

三、安装hadoop 2.5.0

• 1.安装

# tar -zxvf hadoop-2.5.0.tar.gz -C /usr/local/hadoop

• 2.配置hadoop环境变量

# vim /etc/profile

HADOOP_HOME=/usr/local/hadoop/hadoop-2.5.0
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export HADOOP_YARN_HOME=${HADOOP_HOME}

• 3.使配置文件生效

# source /etc/profile

• 4.创建hadoop需要的目录

# mkdir -p /home/hadoop
# mkdir -p /home/hadoop/hadoop-2.5.0
# mkdir -p /home/hadoop/hadoop-2.5.0/tmp
# mkdir -p /home/hadoop/hadoop-2.5.0/dfs
# mkdir -p /home/hadoop/hadoop-2.5.0/dfs/name
# mkdir -p /home/hadoop/hadoop-2.5.0/dfs/data

• 5.修改配置文件（细心）

①

vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/jvm/jdk1.8.0_121

②

vim /usr/local/hadoop/etc/hadoop/core-site.xml

添加如下记录

在<configuration></configuration>之间加入如下记录：
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadoop-2.5.0/tmp</value>
</property>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>

③

vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

添加如下记录

在<configuration></configuration>之间加入如下记录：
<property>
    <name>dfs.name.dir</name>
    <value>/home/hadoop/hadoop-2.5.0/dfs/name</value>
</property>
<property>
    <name>dfs.data.dir</name>
    <value>/home/hadoop/hadoop-2.5.0/dfs/data</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

④

vim /usr/local/hadoop/etc/hadoop/mapred-site.xml.template

添加如下记录

在<configuration></configuration>之间加入如下记录：
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

复制

cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml

⑤

vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

添加如下记录

在<configuration></configuration>之间加入如下记录：
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.class</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>

⑥

vim /usr/local/hadoop/etc/hadoop/slaves

删除文件中的记录并添加如下记录

localhost

• 6.格式化HDFS文件系统

cd /usr/local/hadoop/hadoop-2.5.0 && bin/hdfs namenode -format

• 7.启动hadoop集群和停止hadoop集群

/usr/local/hadoop/sbin/start-all.sh     //启动
/usr/local/hadoop/sbin/stop-all.sh     //停止

• 8.在hadoop集群启动着的情况下执行jps指令查看输出，如果看见如下输出说明搭建成功。

Jps
NameNode
SecondaryNameNode
DataNode
NodeManager
ResourceManager

• 9.图形管理
  当前IP地址：50070 —> 管理HDFS
  当前IP地址：8088 —> 管理MapReduce

四、HDFS常用的指令

hadoop fs -mkdir /input/ -->在hadoop上创建文件夹
hadoop fs -rmdir /input/ -->在hadoop上删除文件夹
hadoop fs -ls / -->查看hadoop/目录下的文件
hadoop fs -rm /test.txt -->删除test.txt文件
hadoop fs -get /test.txt -->从hadoop下载test.txt文件到当前目录
hadoop fs -put test.txt / --> 上传test.txt文件到hadoop/目录

Over