大数据环境搭建

本文将会从环境搭建前的准备、Linux系统介绍和常用的Shell命令、JDK的安装和配置、安装Scala、Hadoop的安装配置方法和基础操作，以及安装Spark几个模块来分布介绍大数据环境的搭建方法。

1. 环境搭建前的准备

本次环境所需要的安装文件及具体版本如下：

• Ubuntu：ubuntukylin-16.04-desktop-amd64.iso
• JDK：jdk-8u162-linux-x64.tar.gz
• Scala： scala-2.11.8.tgz
• Hadoop：hadoop-2.7.1.tar.gz
• Spark：spark-2.1.0-bin-without-hadoop.tgz

我是在windows系统下下载好所有的安装文件，然后使用WinSCP传到ubuntu中进行安装部署的，所以下面简单介绍一下WinSCP的使用。

1. 上WinSCP官网下载安装软件，自定义安装位置，安装即可。
2. 在Linux系统终端输入ifconfig查看IP地址，并在WinSCP中新建会话，输入IP地址，端口为22，用户名hadoop，密码hadoop（前提是已经在虚拟机中安装好ubuntu系统，并创建好hadoop用户，并成功安装SSH服务）。若安装Ubuntu之后没有安装SSH服务，将无法使用WinSCP连接。在终端中运行sudo apt-get install openssh-server即可。
3. 确认连接即可在windows和ubuntu之间相互传输文件了。

2. Linux系统介绍和常用的Shell命令

Linux系统：相信不用多说，能学到大数据环境搭建的同志们，肯定对Linux系统或多或少的有所了解，这里就不再当百度词条的搬运工了。
常用Shell命令：

• useradd — 新增用户
• cd — 切换文件路径
• mkdir — 创建文件夹
• tar -zxvf xxxx.tar.gz —解压tar.gz格式文件
• unzip xxxx.zip — 解压zip格式文件
• sudo apt-get install xxx — 安装xxx

此处只是简单列举了一些在本次环境搭建过程中的linux常用命令

由于Linux中的root用户权限过于强大，我们为了防止由于误操作对系统产生毁灭性破坏，故创建hadoop用户来进行本次环境的全程搭建。打开终端，输入：

$ sudo useradd -m hadoop -s /bin/bash

这条命令创建了一个可以登陆的hadoop用户，并使用/bin/bash作为Shell。
接着使用如下命令为hadoop用户设置密码：

$ sudo passwd hadoop

根据提示输入两次密码之后按回车即可。然后，需要为hadoop用户增加管理员权限，这样可以避免在后续软件安装和程序部署过程中可能出现的一些棘手的问题，命令如下：

$ sudo adduser hadoop sudo

完成之后，注销当前用户，并使用hadoop登录Linux系统。

3. JDK的安装和配置

无论是Hadoop还是Spark，都需要java运行环境，因此，需要在Ubuntu中安装JDK。本次环境搭建使用Hadoop2.7.1和Spark2.1.0，要求必须是java8以上版本。因此，我们选择安装Java 8。
下载好jdk-8u162-linux-x64.tar.gz，保存到本地的“~/packages”目录下，然后在终端中执行如下命令对安装文件进行解压缩。

$ cd /usr/lib
$ sudo mkdir jvm  #创建/usr/lib/jvm目录用来存放JDK文件
$ cd ~/packages   #JDK安装包jdk-8u162-linux-x64.tar.gz在该目录下
$ sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm   #把文件解压到/usr/lib/jvm目录下（**注意：此处的jvm必须提前创建成功**ÿ