Hadoop

Hadoop安装方式

　　Hadoop的安装方式有三种，分别是单机模式，伪分布式模式，伪分布式模式，分布式模式。

　　单机模式：Hadoop默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。非分布式即单Java进程，方便进行调试。

　　伪分布式模式：Hadoop可以在单节点上以伪分布式的方式运行，Hadoop进程以分离的Java进程来运行，节点既作为NameNode也作为DataNode，同时，读取的是HDFS中的文件。

　　分布式模式：使用多个节点构成集群环境来运行Hadoop。

---

Hadoop版本

　　Hadoop 有两个主要版本，Hadoop 1.x.y 和 Hadoop 2.x.y 系列，Hadoop 2.x 版本在不断更新，新版是兼容旧版的。

---

　　装好了 Ubuntu 系统之后，在安装 Hadoop 前还需要做一些必备工作。

---

创建Hadoop用户

　　如果安装 Ubuntu 的时候不是用的 “hadoop” 用户，那么需要增加一个名为 hadoop 的用户。

　　（1）首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 :

sudo useradd -m hadoop -s /bin/bash

　　　这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。

• sudo是Ubuntu中一种权限管理机制，管理员可以授权给一些普通用户去执行一些需要root权限执行的操作。当使用sudo命令时，就需要输入您当前用户的密码。
• 在Linux的终端中输入密码，终端是不会显示任何你当前输入的密码，也不会提示你已经输入了多少字符密码。而在Windows系统中,输入密码一般都会以“*”表示你输入的密码字符。
• Ubuntu中终端输入的命令一般都是使用英文输入。Linux中英文的切换方式是使用键盘“shift”键来切换，也可以点击顶部菜单的输入法按钮进行切换。Ubuntu自带的Sunpinyin中文输入法已经足够使用。
• 在Ubuntu终端窗口中，复制粘贴的快捷键需要加上“shift”，即粘贴是 “ctrl+shift+v”。

　　（2）接着使用如下命令设置密码，可简单设置为 hadoop，按提示输入两次密码：

　　sudo passwd hadoop

　　（3）可为 hadoop 用户增加管理员权限，方便部署，避免一些棘手的权限问题：

　　sudo adduser hadoop sudo

　　（4）最后注销当前用户（点击屏幕右上角的齿轮，选择注销），返回登陆界面。在登陆界面中选择刚创建的 hadoop 用户进行登陆。

---

 更新apt

　　apt（Advanced Packaging Tool）是Linux下的一款安装包管理工具，是一个客户/服务器系统。

　　用 hadoop 用户登录后，先更新一下 apt，后续使用 apt 安装软件，如果没更新可能有一些软件安装不了。按 ctrl+alt+t 打开终端窗口，执行如下命令：

　　sudo apt-get update

　　若出现如下 “Hash校验和不符” 的提示，可通过更改软件源来解决。若没有该问题，则不需要更改。从软件源下载某些软件的过程中，可能由于网络方面的原因出现没法下载的情况，那么建议更改软件源。

　　（1）首先点击左侧任务栏的【系统设置】（齿轮图标），选择【软件和更新】。

　　（2）点击 “下载自” 右侧的方框，选择【其他节点】。

　　（3）在列表中选中【mirrors.aliyun.com】，并点击右下角的【选择服务器】，会要求输入用户密码，输入即可。

　　（4）接着点击关闭，此时会提示列表信息过时，点击【重新载入】。

　　（5）最后耐心等待更新缓存即可。更新完成会自动关闭【软件和更新】这个窗口。如果还是提示错误，请选择其他服务器节点如 mirrors.163.com 再次进行尝试。更新成功后，再次执行 sudo apt-get update 就正常了。

　　后续需要更改一些配置文件，需要安装vim。安装软件时若需要确认，在提示处输入 y 即可。

　　sudo apt-get install vim

　　vim的常用模式有分为命令模式，插入模式，可视模式，正常模式。

　　（1）正常模式主要用来浏览文本内容。一开始打开vim都是正常模式。在任何模式下按下Esc键就可以返回正常模式。

　　（2）插入编辑模式则用来向文本中添加内容的。在正常模式下，输入i键