大数据实验环境准备与配置

实验实现过程

第一步：准备Linux环境

1. VMware-workstation-full-12.1.1-3770994.exe）自行安装并注册，步骤略。。。
2. 请在虚拟机软件VMware上安装Linux系统（ubuntukylin-16.04-desktop-amd64.iso），步骤略。。。

温馨提示：安装Ubuntu虚拟机前必须到BIOS中开启虚拟化技术支持。

3. 进入Linux系统,打开终端，创建hadoop用户并安装vim编辑器，终端命令：
   sudo adduser hadoop
   sudo apt-get install vim #如果提示没有vim安装包，首先执行第5步，再执行apt-get update更新软件包，然后再进行vim安装。
4. 用刚创建的hadoop用户进入Linux系统

sudo adduser hadoop

6. 测试hadoop用户是否创建成功。
   然后进入root用户/etc目录,编辑sudoers

su root

7. vi sudoers ，给hadoop用户增加权限(gedit sudoers也行)

8. 安装SSH、配置SSH无密码登陆
   集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server：

sudo apt-get install openssh-server

报错：请浏览https://mp.csdn.net/postedit/102884078

安装后，可以使用如下命令登陆本机：

ssh localhost

此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hadoop，这样就登陆到本机了。

但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。

9.首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

exit                           # 退出刚才的 ssh localhost
cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了，如下图所示。

10. 练习下列常用linux命令
    cd命令：切换目录
    （1） 切换到目录“/usr/local”

 cd /usr/local

（2） 切换到当前目录的上一级目录

cd ..

（3） 切换到当前登录Linux系统的用户的自己的主文件夹

cd ~

ls命令：查看文件与目录
（4） 查看目录“/usr”下的所有文件和目录

cd /usr
ls -al

mkdir命令：新建目录

（5） 进入“/tmp”目录，创建一个名为“a”的目录，并查看“/tmp”目录下已经存在哪些目录

$ cd /tmp
$ mkdir a
$ ls -al

（6） 进入“/tmp”目录，创建目录“a1/a2/a3/a4”

$ cd /tmp
$ mkdir -p a1/a2/a3/a4

rmdir命令：删除空的目录
（7） 将上面创建的目录a（在“/tmp”目录下面）删除

$ cd /tmp
$ rmdir a

（8） 删除上面创建的目录“a1/a2/a3/a4” （在“/tmp”目录下面），然后查看“/tmp”目录下面存在哪些目录

$ cd /tmp
$ rmdir -p a1/a2/a3/a4
$ ls -al

cp命令：复制文件或目录
（9） 将当前用户的主文件夹下的文件.bashrc复制到目录“/usr”下，并重命名为bashrc1

$ sudo cp ~/.bashrc /usr/bashrc1

（10） 在目录“/tmp”下新建目录test，再把这个目录复制到“/usr”目录下

$ cd /tmp
$ mkdir test
$ sudo cp -r /tmp/test /usr

mv命令：移动文件与目录，或更名
（11） 将“/usr”目录下的文件bashrc1移动到“/usr/test”目录下

$ sudo mv /usr/bashrc1 /usr/test

（12） 将“/usr”目录下的test目录重命名为test2

$ sudo mv /usr/test /usr/test2

rm命令：移除文件或目录
（13） 将“/usr/test2”目录下的bashrc1文件删除

$ sudo rm /usr/test2/bashrc1

（14） 将“/usr”目录下的test2目录删除

$ sudo rm -r /usr/test2

cat命令：查看文件内容
（15） 查看当前用户主文件夹下的.bashrc文件内容

$ cat ~/.bashrc

tac命令：反向查看文件内容
（16） 反向查看当前用户主文件夹下的.bashrc文件的内容

$ tac ~/.bashrc

more命令：一页一页翻动查看

（17） 翻页查看当前用户主文件夹下的.bashrc文件的内容

$ more ~/.bashrc
```head命令：取出前面几行
（18）	查看当前用户主文件夹下.bashrc文件内容前20行

```powershell
$ head -n 20 ~/.bashrc

（19） 查看当前用户主文件夹下.bashrc文件内容，后面50行不显示，只显示前面几行

$ head -n -50 ~/.bashrc

tail命令：取出后面几行
（20） 查看当前用户主文件夹下.bashrc文件内容最后20行

$ tail -n 20 ~/.bashrc

（21） 查看当前用户主文件夹下.bashrc文件内容，并且只列出50行以后的数据

$ tail -n +50 ~/.bashrc

touch命令：修改文件时间或创建新文件
（22） 在“/tmp”目录下创建一个空文件hello，并查看文件时间

$ cd /tmp
$ touch hello
$ ls -l hello

（23） 修改hello文件，将文件时间整为5天前

$ touch -d “5 days ago” hello

chown命令：修改文件所有者权限
（24） 将hello文件所有者改为root帐号，并查看属性

$ sudo chown root /tmp/hello
$ ls -l /tmp/hello

find命令：文件查找

（25） 找出主文件夹下文件名为.bashrc的文件

$ find ~ -name .bashrc

tar命令：压缩命令
（26） 在根目录“/”下新建文件夹test，然后在根目录“/”下打包成test.tar.gz

$ sudo mkdir /test
$ sudo tar -zcv -f /test.tar.gz test

（27） 把上面的test.tar.gz压缩包，解压缩到“/tmp”目录

$ sudo tar -zxv -f /test.tar.gz -C /tmp

grep命令：查找字符串
（28） 从“～/.bashrc”文件中查找字符串’examples’

$ grep -n 'examples' ~/.bashrc

第二步：下载并安装JDK（
1.在线下载JDK或直接本地拷贝到Linux虚拟机当前用户Downloads目录

2.进入/opt目录，创建java文件夹，然后解压JDK到该文件夹。

sudo mkdir /opt/java
sudo tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt/java/

3.配置jdk环境变量（有2种方式，修改profile或者.bashrc，任选一即可,二者区别自行学习）

sudo vim /etc/profile

增加如下内容：

export JAVA_HOME=/opt/java/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin

4.重新加载环境变量脚本

source /etc/profile

5.验证Java是否生效

java -version 

第三步：下载eclipse并安装

1. 在线下载并拷贝到当前用户Downloads目录下面
   下载地址：https://www.eclipse.org/downloads/

2. 解压eclipse到/opt目录下
   

3. 查看解压结果
   

4. 在linux系统中设置eclipse快捷方式

	sudo gedit  /usr/share/applications/eclipse.desktop

2) 向eclipse .desktop中添加以下内容：

[Desktop Entry]
Encoding=UTF-8
Name=Eclipse
Comment=Eclipse IDE
Exec=/opt/eclipse/eclipse 
Icon=/opt/eclipse/icon.xpm
Terminal=false
StartupNotify=true
Type=Application
Categories=Application;Developmet;

3. 给eclipse .desktop文件赋权 ：

sudo chmod u+x eclipse.desktop

此时我们会看到，刚才建立的eclipse.desktop文件变成了Eclipse的图标。
4) 找到/usr/share/applications/eclipse.desktop，右键选择 copy to desktop，即可。
注：1、Exec代表应用程序的位置(视实际情况修改)
Icon代表应用程序图标的位置（视实际情况修改）
第四步：下载Hadoop安装包并解压
1.下载地址：http://hadoop.apache.org/releases.html

可以自己选择版本，最新版是hadoop-3.1.1.tar.gz

2.解压安装包
先新建文件夹bigdata，解压到该目录下。

sudo mkdir /bigdata

解压Hadoop安装包

sudo tar -zxvf hadoop-3.1.1.tar.gz -C /bigdata/

在Hadoop安装包目录下有几个比较重要的目录
sbin : 启动或停止Hadoop相关服务的脚本
bin ：对Hadoop相关服务（HDFS,YARN）进行操作的脚本
etc : Hadoop的配置文件目录
share ：Hadoop的依赖jar包和文档，文档可以被删掉
lib ：Hadoop的本地库（对数据进行压缩解压缩功能的）

检查是否可用：

3.修改文件夹权限：

sudo chown -R hadoop hadoop-3.1.1/

ok