Hadoop安装教程

Hadoop安装过程

前言

关于hadoop的安装，有许多需要强调的点：
1、安装之前有会先准备四台机子，我的顺序是node01、node02、node03、node04，所以在安装的时候，要对应我的机子进行配置，所以你们最好也把自己的机子的名字和我取一样的。以免搞混。
2、在安装包的路径中，会创建一个以自己为名的文件夹，我的是“zy”。
3、强调以上两点，是为了在后面的配置修改文件过程中，要修改对应的名字。
4、有几条需要在node02、node03、node04上一起操作的命令，我只截了一张图的，不要只在一台机器上做，要三台机器一起做。
5、当你在一台机子上修改了某一个文件的时候，最好通过scp命令分发的另外几台机子上，要保证机子的文件内容相同。
6、在一台机子上ssh登录其他机子之后，必须exit。
7、在修改配置文件的时候，一定要注意和我的一样，修改好对应的机子和文件名，configuration要对应，结尾是有“/”的。
8、当你想要安装hadoop时，最好先提前了解一下hadoop的基本知识，这样有助于你安装快速顺利。
9、所有的安装包需要自己去网上找，都能找到。可以参考我给的版本找。
10、在安装运行zkServer.sh的时候，容易发生启动起来了，但是状态错误。可以先检查一下以下我所说的：
	1）防火墙是否关闭了；
	2）把PATH里的ZOOKEEPER_HOME改成绝对路径；
	3）查看一下端口2181是否被占用。
11、如果遇到其他错误解决不了可以查看一下log日志看看错误发生在哪里。

简单了解Hadoop

Hadoop是存储海量数据和分析海量数据的工具。Hadoop的框架最核心的就是HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算。
下图是Hadoop的简单架构：

下图是Hadoop的安装方案。

安装xftp

在Windows下安装xftp，用来把Windows中的东西传到Linux中。下载好之后打开Xshell。

安装jdk

先在Windows中下载好jdk的rpm版本（rpm是Linux环境下安装包的尾缀），在xshell中用xftp从Windows传输到node01中，在Linux环境下输入ll命令查看是否存在jdk的安装包

输入下图的命令安装jdk

先jps一下，看看是不是这样的显示，说明jdk还没安装好，接下来就要配置jdk了

配置jdk

先看一下Java的路径，之后要用到

接下来输入这个命令

进入profile这个文件里，在最后输入下面两行

加载一下（source是使修改后的文件立即生效的命令）

然后输入jps，看一下出来的是图一还是图二，如果是图一，说明jdk还没配置成功，图二则配置成功

出现图一的解决办法，输入下图这个命令，进入文件修改PATH


修改成绝对路径后，再重新加载

再输入jps，出现数字 Jps，这说明配置成功

免秘钥

在家目录下，ll-a，看看有没有.ssh文件，若没有，则输入ssh localhost命令（之后记得exit）

因为目录中没有.ssh，在命令行输入ssh localhost并回车，输入yes

接着输入密码

接着输入以下语句，跳出以下界面
输入ll.ssh

再输入以下命令，用来捕捉密码

最后ssh localhost（记得exit）

安装hadoop

进入到software这个目录，然后把Windows中下载好的压缩文件解压到以自己为名的目录中

进入到zy的文件夹

在zy的目录下，ll，查看是否存在解压的这个文件

进入到hadoop-2.6.5中

输入以下命令进行修改

进入到文件后，在最后输入下面三行语句

修改Hadoop配置文件信息

进入到hadoop

修改下面三个文件中的JAVA_HOME的绝对路，JAVA_HOME=/usr/java/jdk1.7.0_67（如果JAVA_HOME前有#注释的把#删掉，没有JAVA_HOME的在最后添上）

敲入以下命令，在configuration中间添加以下文本内容（注意，第四行中的node01为你第一台机子的名字，第八行中的zy是以你名字为名的文件