Ubuntu16.04如何安装Hadoop2.6.0(单机伪分布方式)

首先安装JDK，安装方法请查看本人之前的博客。

然后是设置SSH无密码登陆

• 安装SSH

执行命令

sudo apt-get install ssh

过程中需要输入“Y”。

• 安装rsync

执行命令

sudo apt-get install rsync

产生SSH Key，执行命令

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

查看产生的SSH Key，执行命令

ll ~/.ssh

将产生的Key放置到许可证文件中，执行命令

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

• 安装Hadoop

在官网上下载hadoop2.6.0并解压压缩包，执行命令

sudo tar -zxvf hadoop-2.6.0.tar.gz

并移动解压后的文件，执行命令

sudo mv hadoop-2.6.0 /usr/local/hadoop

设置hadoop环境变量，执行命令

sudo gedit ~/.bashrc

在打开的文档最后加上以下内容

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 
export HADOOP_HOME=/usr/local/hadoop 
export PATH=$PATH:$HADOOP_HOME/bin 
export PATH=$PATH:$HADOOP_HOME/sbin 
export HADOOP_MAPRED_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" 
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

保存后退出，执行命令

source ~/.bashrc

使修改生效。

• 修改hadoop配置设置文件

修改hadoop-env.sh，执行命令

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

输入下列内容：

修改core-site.xml，执行命令

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

输入下列内容

<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:9000</value>
</property>

修改yarn-site.xml，执行命令

sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml

输入下列内容

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

修改mapred-site.xml，执行命令：

sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml

输入下列内容：

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

修改hdfs-site.xml，执行命令

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

输入下列内容

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property>

• 建立与格式化HDFS 目录

创建namenode和datanode数据存储目录，执行命令

sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
sudo chown hduser:hduser -R /usr/local/hadoop

格式化namenode，执行命令

hadoop namenode -format

• 启动hadoop

执行命令

start-all.sh

第一次运行时中间需要输入两次“yes”

• 查看结果

执行命令

jps

PS：另外，可通过ubuntu系统的浏览器

开启Hadoop Resource­Manager Web接口

http://localhost:8088/

 

可用于查看当前Hadoop的状态：Node节点、应用程序、进程运行状态

NameNode HDFS Web接口

http://localhost:50070/

 

可用于检查当前HDFS与DataNode的运行情况