Hadoop综合

Hadoop综合
一、安装 Hadoop 前还需要做一些必备工作
1.创建hadoop用户：首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 :
sudo useradd -m hadoop -s /bin/bash
这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell
2.接着使用如下命令设置密码，可简单设置为 hadoop，按提示输入两次密码：
sudo passwd hadoop
可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题：
sudo adduser hadoop sudo
3.最后注销当前用户（点击屏幕右上角的齿轮，选择注销），返回登陆界面。在登陆界面中选择刚创建的 hadoop 用户进行登陆。
4.更新apt
用 hadoop 用户登录后，我们先更新一下 apt，后续我们使用 apt 安装软件，如果没更新可能有一些软件安装不了。按 ctrl+alt+t 打开终端窗口，执行如下命令：
sudo apt-get update
5.安装SSH、配置SSH无密码登陆，集群、单节点模式都需要用到 SSH 登陆
Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server：
sudo apt-get install openssh-server
安装后，可以使用如下命令登陆本机：
ssh localhost
此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hadoop，这样就登陆到本机了。
6.安装Java环境
我们已经把JDK1.8的安装包jdk-8u162-linux-x64.tar.gz放在了百度云盘
https://pan.baidu.com/share/init?surl=mUR3M2U_lbdBzyV_p85eSA（提取码：99bg）
请把压缩格式的文件jdk-8u162-linux-x64.tar.gz下载到本地电脑，假设保存在“/home/linziyu/Downloads/”目录下。
在Linux命令行界面中，执行如下Shell命令（注意：当前登录用户名是hadoop）：
cd /usr/lib
sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件
cd ~ #进入hadoop用户的主目录
cd Downloads #注意区分大小写字母，刚才已经通过FTP软件把JDK安装包jdk-8u162-linux-x64.tar.gz上传到该目录下
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm #把JDK文件解压到/usr/lib/jvm目录下
上面使用了解压缩命令tar，如果对Linux命令不熟悉，可以参考常用的Linux命令用法。
JDK文件解压缩以后，可以执行如下命令到/usr/lib/jvm目录查看一下：
cd /usr/lib/jvm
ls
可以看到，在/usr/lib/jvm目录下有个jdk1.8.0_162目录。
下面继续执行如下命令，设置环境变量：
cd ~
vim ~/.bashrc
上面命令使用vim编辑器（查看vim编辑器使用方法）打开了hadoop这个用户的环境变量配置文件，请在这个文件的开头位置，添加如下几行内容：
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=$JAV{A}_{H}OME/jreex$