Hadoop大作业——单词个数统计

目录

一，使用VirtualBox安装Ubuntu

1，安装前的准备
（1）官网下载VirtualBox，然后下载Ubuntu，然后运行VirtulBox程序，如下图：

2，安装Ubuntu
（1）运行VirtulBox程序，新建一个虚拟机，名称随意命名，类型选择Linux，版本选择Ubuntu。

（2）设定虚拟机的内存，此内存即为虚拟机所占用的系统内存，可随意修改，建议不要超过系统内存的1/2。

（3）为虚拟机创建一块虚拟硬盘。选择“现在创建虚拟硬盘”，并点击“创建”。

（4）选择虚拟硬盘文件类型。选择默认的VDI（VirtualBox磁盘映像），并点击“下一步”。

（5）选择“动态扩展”，并点击“下一步”。
因为分配给虚拟机的内存空间较大，使用时逐渐占用磁盘空间，闲置时自动缩减比较合理，所以选择动态扩展类型。

(6）输入虚拟硬盘文件的名称，并选择保存位置。
选择虚拟硬盘大小时一定先确定保存所在位置磁盘的可用大小。可用空间为500G，虚拟硬盘大小设置为64G。点击“创建”。

(3）虚拟机创建完成后点击“启动”按钮。

（4）弹出下图对话框，选择启动盘。单击右侧文件夹小图标，选择虚拟光盘文件Ubuntu。

(5）进入安装界面。 选择“中文简体”，选择“安装Ubuntu”。

(6）选择“清除整个磁盘并安装Ubuntu”点击“现在安装”。

(7）语言选“汉语”。

（8）输入个人信息：用户名，口令等。
（9）安装完毕，重启一下Ubuntu。

二，Hadoop安装教程

1，创建hadoop用户
（1）首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 :

sudo useradd -m hadoop -s /bin/bash

（2）接着使用如下命令设置密码，可简单设置为 hadoop，按提示输入两次密码：

sudo passwd hadoop

（3）可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题：

sudo adduser hadoop sudo

（4）最后注销当前用户（点击屏幕右上角的齿轮，选择注销），返回登陆界面。在登陆界面中选择刚创建的 hadoop 用户进行登陆。
2，更新apt
（1）用 hadoop 用户登录后，我们先更新一下 apt，后续我们使用 apt 安装软件，如果没更新可能有一些软件安装不了。按 ctrl+alt+t 打开终端窗口，执行如下命令：

sudo apt-get update

（2）后续需要更改一些配置文件，我比较喜欢用的是 vim（vi增强版，基本用法相同），建议安装一下（如果你实在还不会用 vi/vim 的，请将后面用到 vim 的地方改为 gedit，这样可以使用文本编辑器进行修改，并且每次文件更改完成后请关闭整个 gedit 程序，否则会占用终端）：

sudo apt-get install vim

3，安装SSH、配置SSH无密码登陆
（1）集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server：

sudo apt-get install openssh-server

（2）安装后，可以使用如下命令登陆本机：

ssh localhost

（3）但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。
（4）首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

exit                           
cd ~/.ssh/                     
ssh-keygen -t rsa              
cat ./id_rsa.pub >> ./authorized_keys  

（5）此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了，如下图所示：

三，安装JAVA环境

1，安装JDK。
（1）手动安装JDK1.8，请把压缩格式的文件jdk-8u162-linux-x64.tar.gz下载到本地电脑，在Linux命令行界面中，执行如下Shell命令（注意：当前登录用户名是hadoop）：

cd /usr/lib
sudo mkdir jvm 
cd ~ 
cd Downloads 
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr