Hadoop平台搭建

使用的材料、设备、软件

Linux操作系统环境，VirtualBox虚拟机，Java开发环境，Hadoop/HBase/Spark等程序。

Ubuntu操作系统安装(以双系统或者虚拟机方式安装Ubuntu操作系统)

安装双系统：
安装前准备工作

1. 压缩磁盘，新建分区-桌面电脑图标上右键 --> 管理 --> 存储 --> 磁盘管理
   

2. • 磁盘0 --> OS(C:)上右键压缩卷–> 选择合适大小，压缩完成后就退出，保持未分区状态，不要格式化
     

3. 关闭快速启动（也许不管也可以）
   

4. 制作UEFI格式U盘启动盘
   将ISO镜像中的所有文件复制到一个干净的U盘中。

5. 关闭Secure Boot
   (1)进入BIOS：重启电脑，在MI出现后马上按F2（可以多按几次，也可以在还是黑屏时就开始按）
   (2)Security—>Set Supervisor Password(必须设置，否则下面的Secure Boot无法更改)
   
   (3)Security—>Secure Boot—>更改为Disabled
   
   (5)最后F10后回车，会保存更改后直接启动
   安装中

6. 进入启动U盘: 同进入BIOS类似，在上面重启后出现MI时按F12，进入选择菜单，选择你的U盘就可以了
   

7. 2.之后就是正常的Ubuntu系统安装步骤，需要注意的是一定要选择其他选项(自己分区)，

8. 分区：共60G
   /bootext4 300MB /ext4 50GB/swap 1000MB

9. 分完区后，下面的安装启动引导器的设备选择/boot所在的分区

10. 安装完成后重启时会出现一个选择菜单，选择Ubuntu则进入linux系统，选择Windows boot Manager则进入Win10
    
    安装完成

11. 增加了 检查列表 功能。

安装SSH

Ubuntu默认已安装了SSH客户端，因此，这里还需要安装SSH服务端，在Linux的终端中执行一下命令：

$sudo apt-get install openssh-server

安装后，可以使用如下命令登录本机：

$ssh localhost

执行该命令后会出现SSH首次登录提示，输入yes，然后按提示输入密码Hadoop，就登陆到本机了。（由于这样每次登录都需要输入密码，所以，需要配置成SSH无密码登录，就比较方便）
首先输入命令exit退出刚才的SSH，就回到了原先的终端窗口，然后可以利用sshkeygen生成密钥，并将密钥加入到授权中，命令如下：

$cd~/.ssh/      #若没有该目录，请先执行一次 ssh localhost
$ssh-keygen-t rsa     #会有提示，按enter键即可
$cat ./id_rsa.pub>> ./authorized_keys       #加入授权

此时，在执行ssh localhost命令，无需输入密码就可以直接登录了，如图8
所示：

安装Java环境

安装方式，命令如下：

$sudo apt-get install default-jre default-jdk

注：需保持联网状态
下载好相关文件后，需要配置JAVA_HOME环境变量，在Linux终端中输入以下命令打开当前登录用户的环境变量配置文件.bashrc

$vim~/.bashrc

在文件最前面添加如下单独一行，然后保存退出：

export JAVA_HOME=/usr/lib/jvm/default-java

让环境变量立即生效，代码如下：

$source~/.bashrc

检验是否正确：

$echo $JAVA_HOME
$java-version
$$JAVA_HOME/bin/java-version     #执行后会出现Java的版本信息，则安装成功

如图9所示：

安装HaDoop

Hadoop包括3种安装模式：
1.单机模式
2.伪分布模式
3.分布模式
在Linux系统的FireFox浏览器进入Hadoop官网下载安装文件，下载完安装文件以后，需要对文件进行解压.使用hadoop用户登陆Linux系统，打开一个终端，执行如下命令：

$sudo tar -zxf~/下载/hadoop-2.7.1.tar.gz -c/uer/local       #解压到/usr/local目录中
$cd/usr/local/
$sudo mv ./hadoop-2.7.1/ ./hadoop    #将文件名改为hadoop
$sudo chown -R hadoop ,/hadoop      #修改文件权限

Hadoop解压后即可使用，用以下命令来检查hadoop是否可用，若成功会显示hadoop版本信息：

$cd /usr/local/hadoop
$./bin/hadoop version

如图11所示：

这样就安装好了。
接下来我们来配置伪分布模式：
Hadoop伪分布模式是指同一个节点既作为名称结点,也作为数据结点,读取的是分布式文件系统HDFS中的文件。要实现这种分布模式,需要修改以下两个配置文件：
① 修改core-site.xml文件（用vim文本编译器打开该文件，指令如下）：

vim /usr/local/hadoop/etc/hadoop/core-site.xml

修改后的文件如图所示：

② 修改hdfs-site.xml文件，打开该文件的指令如下：

vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

修改后的文件如图所示：

③ 当修改了这两个配置文件后，接下来还需要将此名称结点进行格式化，命令如下：

$cd /usr/local/hadoop
$./bin/hdfs namenode –format

如果成功就会看到下图所示内容:

至此Hadoop安装完成，接下来介绍一些分布式文件系统的文件读写命令使用方法

分布式文件系统的文件读写命令行使用方法

1.在HDFS中创建名为yqy的用户名：

$cd/usr/local/hadoop
$./bin/hdfs dfs -mkdir -p /user/yqy

效果如图：

2.在HDFS的/user/yqy目录下创建input目录:

$cd /usr/local/hadoop
$./bin/hdfs dfs -mkdir input

如图所示：

3.在Linux桌面创建test.txt文件，在其中输入包含20个以上的单词:
命令如图所示：


创建结果如图所示：

4.将test.txt文件复制到input目录下:
代码为：

$cd /usr/local/hadoop
$./bin/hdfs dfs -put homeyqy/桌面/test.txt input

结果如下图所示：

5.将etc/hadoop目录下的所有xml配置文件载入到input目录下；
代码：

$cd /usr/local/hadoop
$./bin/hdfs dfs -put ./etc/hadoop/*.xml input

结果如下图所示:

6.在HDFS的命令行中读取并显示input目录下包含的文件及内容;
代码：

$cd /usr/local/hadoop
$./bin/hdfs dfs -ls input

结果显示:

注：转载标明出处！