指导手册02：伪分布式安装Hadoop(ubuntuLinux).md

指导手册02：伪分布式安装Hadoop(ubuntuLinux)

Part 1:安装及配置虚拟机

1. 安装Linux.

1.安装Ubuntu1604 64位系统

2.设置语言，能输入中文

3.创建hadoop账户

sudo useradd -m hadoop -s /bin/bash

sudo passwd hadoop

//输入2遍密码

sudo adduser hadoop sudo #设置hadoop用户的管理员权限

5.更新apt

设置更新和服务中，更新站点选中国阿里云，执行“sudo apt-get
update”，更新成功（系统设置里-）软件更新）。

sudo apt-get update

6.安装vim编辑器

sudo apt-get install vim

2．安装SSH、配置SSH无密码登陆

集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux
主机，并且在上面运行命令），Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH
server：

sudo apt-get install openssh-server

安装后，可以使用如下命令登陆本机：

ssh localhost

此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码
hadoop，这样就登陆到本机了。

但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。

首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen
生成密钥，并将密钥加入到授权中：

exit # 退出刚才的 ssh localhost

cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost

ssh-keygen -t rsa # 会有提示，都按回车就可以

cat ./id_rsa.pub >> ./authorized_keys # 加入授权

此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了，如下图所示。

Part 2: 配置Hadoop环境

重要知识的提示：

1. Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java
   进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件

2. Hadoop 的配置文件位于 hadoop/etc/hadoop/
   中，伪分布式需要修改5个配置文件hadoop-env.sh、 core-site.xml 、 hdfs-site.xml
   、mapred-site.xml和yarn-site.xml

3. Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value
   的方式来实现

实验步骤：

修改配置文件：hadoop-env.sh、core-site.xml，hdfs-site.xml，mapred-site.xml、yarn-site.xml

2. 初始化文件系统hadoop namenode -format

3. 启动所有进程start-all.sh或者start-dfs.sh、start-yarn.sh

4. 访问web界面，查看Hadoop信息

5. 运行实例

6. 停止所有实例：stop-all.sh

1：下载Hadoop安装包并解压

1.下载地址：http://hadoop.apache.org/releases.html

可以自己选择版本，最新版是hadoop-3.1.1.tar.gz

1. 解压安装包

先新建文件夹bigdata，解压到该目录下。sudo mkdir /bigdata

解压Hadoop安装包

sudo tar -zxvf hadoop-3.1.1.tar.gz -C /bigdata/

在Hadoop安装包目录下有几个比较重要的目录

sbin : 启动或停止Hadoop相关服务的脚本

bin ：对Hadoop相关服务（HDFS,YARN）进行操作的脚本

etc : Hadoop的配置文件目录

share ：Hadoop的依赖jar包和文档，文档可以被删掉

lib ：Hadoop的本地库（对数据进行压缩解压缩功能的）

检查是否可用：

1. 修改文件夹权限：

2：配置Hadoop环境

1. 配置Hadoop（伪分布式），修改其中的5个配置文件即可

2. 进入到Hadoop的etc目录下

cd /bigdata/hadoop-3.1.1/etc/hadoop

1. 修改第1个配置文

sudo vi hadoop-env.sh

export JAVA_HOME=/opt/java/jdk1.8.0_181

找到第54行，修改JAVA_HOM如下：

1. 修改第2个配置文件

sudo vi core-site.xml

<configuration> <!-- 配置hdfs的namenode（老大）的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <!-- 配置Hadoop运行时产生数据的存储目录，不是临时的数据 --> <property> <name>hadoop.tmp.dir</name> <value>file:/bigdata/hadoop-3.1.1/tmp</value> </property> </configuration>

1. 修改第3个配置文件

sudo vi hdfs-site.xml

<configuration> <!-- 指定HDFS存储数据的副本数据量 --> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.http-address</name> <value>localhost:50070</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/bigdata/hadoop-3.1.1/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/bigdata/hadoop-3.1.1/tmp/dfs/data</value> </property> </configuration> 此外，伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行（官方教程如此），不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。所以我们进行了设置，同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。

1. 修改第4个配置文件：

sudo vi mapred-site.xml

<configuration> <!-- 指定mapreduce编程模型运行在yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

1. 修改第5个配置文件

sudo vi yarn-site.xml

<configuration> <!-- 指定yarn的老大（ResourceManager的地址） --> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property> <!-- mapreduce执行shuffle时获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

1. 对hdfs进行初始化（格式化HDFS）

cd /bigdata/hadoop-3.1.1/bin/

sudo ./hdfs namenode -format

1. 如果提示如下信息，证明格式化成功：

3：启动并测试Hadoop

1. cd /bigdata/hadoop-3.1.1/sbin/

sbin/start-dfs.sh或者./start-dfs.sh

sbin/start-yarn.sh或者./start-yarn.sh

如果报以上错误，请修改下面4个文件如下：

在/hadoop/sbin路径下：

将start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数

#!/usr/bin/env bash

HDFS_DATANODE_USER=root

HADOOP_DATANODE_SECURE_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

还有，start-yarn.sh，stop-yarn.sh顶部也需添加以下参数：

#!/usr/bin/env bash

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

修改后重启 ./start-dfs.sh，成功！

1. 使用jps命令检查进程是否存在,总共5个进程（jps除外），每次重启，进程ID号都会不一样。如果要关闭可以使用
   stop-all.sh命令。

4327 DataNode

4920 NodeManager

4218 NameNode

4474 SecondaryNameNode

4651 ResourceManager

5053 Jps

1. 访问hdfs的管理界面

localhost:50070

1. 访问yarn的管理界面

localhost:8088

1. 如果点击节点Nodes，发现panzhengjun:8042也可访问

1. 如果想停止所有服务，请输入sbin/stop-all.sh

4:Hadoop无法正常启动的解决方法

一般可以查看启动日志来排查原因，注意几点：

1. 启动时会提示形如 “panzhengjun: starting namenode, logging to
   /bigdata/hadoop-3.1.1/logs/hadoop-hadoop-namenode-panzhengjun.out”，其中
   panzhengjun 对应你的机器名，但其实启动日志信息是记录在
   /bigdata/hadoop/logs/hadoop-hadoop-namenode-panzhengjun.log
   中，所以应该查看这个后缀为 .log 的文件；

   

2)每一次的启动日志都是追加在日志文件之后，所以得拉到最后面看，对比下记录的时间就知道了。一般出错的提示在最后面，通常是写着
Fatal、Error、Warning 或者 Java Exception
的地方。可以在网上搜索一下出错信息，看能否找到一些相关的解决方法。

3)此外，若是 DataNode 没有启动，可尝试如下的方法（注意这会删除 HDFS
中原有的所有数据，如果原有的数据很重要请不要这样做）：

# 针对 DataNode 没法启动的解决方法

./sbin/stop-dfs.sh # 关闭

rm -r ./tmp # 删除 tmp 文件，注意这会删除 HDFS 中原有的所有数据

./bin/hdfs namenode -format # 重新格式化 NameNode

./sbin/start-dfs.sh # 重启

Hadoop环境搭建参考：http://dblab.xmu.edu.cn/blog/install-hadoop/

Part 3: 安装Eclipse编程环境

1：下载并安装JDK（FTP或在线都可）

1. 在线下载JDK或直接本地拷贝到Linux虚拟机当前用户Downloads目录

1. 进入/opt目录，创建java文件夹，然后解压JDK到该文件夹。

sudo mkdir /opt/java

sudo tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt/java/

1. 配置jdk环境变量（有2种方式，修改profile或者.bashrc，任选一即可,二者区别自行学习）

sudo vim /etc/profile

增加如下内容：

export JAVA_HOME=/opt/java/jdk1.8.0_181

export PATH=$PATH:$JAVA_HOME/bin

1. 重新加载环境变量脚本

source /etc/profile

1. 验证Java是否生效

java -version

2：下载eclipse并安装

1. 在线下载或者FTP下载并拷贝到当前用户Downloads目录下面

下载地址：https://www.eclipse.org/downloads/

1. 解压eclipse到/opt目录下

1. 查看解压结果

1. 在linux系统中设置eclipse快捷方式

2. sudo gedit /usr/share/applications/eclipse.desktop

3. 向eclipse .desktop中添加以下内容：

[Desktop Entry]

Encoding=UTF-8

Name=Eclipse

Comment=Eclipse IDE

Exec=/opt/eclipse/eclipse

Icon=/opt/eclipse/icon.xpm

Terminal=false

StartupNotify=true

Type=Application

Categories=Application;Developmet;

1. 给eclipse .desktop文件赋权 ：

sudo chmod u+x eclipse.desktop

此时我们会看到，刚才建立的eclipse.desktop文件变成了Eclipse的图标。

1. 找到/usr/share/applications/eclipse.desktop，右键选择 copy to
   desktop，即可。

注：1、Exec代表应用程序的位置(视实际情况修改)

Icon代表应用程序图标的位置（视实际情况修改）

附录：练习常用linux命令

• cd命令：切换目录

1. 切换到目录“/usr/local”

cd /usr/local

1. 切换到当前目录的上一级目录

cd …

1. 切换到当前登录Linux系统的用户的自己的主文件夹

cd ~

• ls命令：查看文件与目录

1. 查看目录“/usr”下的所有文件和目录

cd /usr

ls -al

• mkdir命令：新建目录

1. 进入“/tmp”目录，创建一个名为“a”的目录，并查看“/tmp”目录下已经存在哪些目录

$ cd /tmp

$ mkdir a

$ ls -al

1. 进入“/tmp”目录，创建目录“a1/a2/a3/a4”

$ cd /tmp

$ mkdir -p a1/a2/a3/a4

• rmdir命令：删除空的目录

1. 将上面创建的目录a（在“/tmp”目录下面）删除

$ cd /tmp

$ rmdir a

1. 删除上面创建的目录“a1/a2/a3/a4”
   （在“/tmp”目录下面），然后查看“/tmp”目录下面存在哪些目录

$ cd /tmp

$ rmdir -p a1/a2/a3/a4

$ ls -al

• cp命令：复制文件或目录

1. 将当前用户的主文件夹下的文件.bashrc复制到目录“/usr”下，并重命名为bashrc1

$ sudo cp ~/.bashrc /usr/bashrc1

1. 在目录“/tmp”下新建目录test，再把这个目录复制到“/usr”目录下

$ cd /tmp

$ mkdir test

$ sudo cp -r /tmp/test /usr

• mv命令：移动文件与目录，或更名

1. 将“/usr”目录下的文件bashrc1移动到“/usr/test”目录下

$ sudo mv /usr/bashrc1 /usr/test

1. 将“/usr”目录下的test目录重命名为test2

$ sudo mv /usr/test /usr/test2

• rm命令：移除文件或目录

1. 将“/usr/test2”目录下的bashrc1文件删除

$ sudo rm /usr/test2/bashrc1

1. 将“/usr”目录下的test2目录删除

$ sudo rm -r /usr/test2

• cat命令：查看文件内容

1. 查看当前用户主文件夹下的.bashrc文件内容

$ cat ~/.bashrc

• tac命令：反向查看文件内容

1. 反向查看当前用户主文件夹下的.bashrc文件的内容

$ tac ~/.bashrc

• more命令：一页一页翻动查看

1. 翻页查看当前用户主文件夹下的.bashrc文件的内容

$ more ~/.bashrc

• head命令：取出前面几行

1. 查看当前用户主文件夹下.bashrc文件内容前20行

$ head -n 20 ~/.bashrc

1. 查看当前用户主文件夹下.bashrc文件内容，后面50行不显示，只显示前面几行

$ head -n -50 ~/.bashrc

• tail命令：取出后面几行

1. 查看当前用户主文件夹下.bashrc文件内容最后20行

$ tail -n 20 ~/.bashrc

1. 查看当前用户主文件夹下.bashrc文件内容，并且只列出50行以后的数据

$ tail -n +50 ~/.bashrc

• touch命令：修改文件时间或创建新文件

1. 在“/tmp”目录下创建一个空文件hello，并查看文件时间

$ cd /tmp

$ touch hello

$ ls -l hello

1. 修改hello文件，将文件时间整为5天前

$ touch -d “5 days ago” hello

• chown命令：修改文件所有者权限

1. 将hello文件所有者改为root帐号，并查看属性

$ sudo chown root /tmp/hello

$ ls -l /tmp/hello

• find命令：文件查找

1. 找出主文件夹下文件名为.bashrc的文件

$ find ~ -name .bashrc

• tar命令：压缩命令

1. 在根目录“/”下新建文件夹test，然后在根目录“/”下打包成test.tar.gz

$ sudo mkdir /test

$ sudo tar -zcv -f /test.tar.gz test

1. 把上面的test.tar.gz压缩包，解压缩到“/tmp”目录

$ sudo tar -zxv -f /test.tar.gz -C /tmp

• grep命令：查找字符串

1. 从“～/.bashrc”文件中查找字符串’examples’

$ grep -n ‘examples’ ~/.bashrc

Ubuntu 常用命令整理

https://www.jianshu.com/p/1340bb38e4aa