Hadoop安装手记（ubuntu环境）

Ubuntu安装hadoop手记

大二那年买了本关于大数据系统搭建的指导书，刚刚开始尝试没多久就开学了，于是hadoop搭建到一半就停了。
过了几个学期，刚刚好遇上大数据技术的选修课，老师让我们帮忙在windows上安装hadoop，遇到的坑贼多，我和几个同学在实验室折腾了很久也还是有connection refuce的报错。才想起了之前在虚拟机上创建的废弃hadoop集群，于是又捡起了这几台机子，并慢慢摸索回之前的进度直到安装完成。

- 过程总览

ubuntu上完整分布式的安装过程比单机安装过程要稍微复杂一点，首先要准备三台机器（一台master，两台slave，这里使用VMware虚拟机），配置要在三台机子上都执行一遍。
在准备好机器之后，分为前期准备和正式安装两个步骤，最后是运行和检测阶段：
前期准备：
1.需要在各台机器上创建hadoop组和用户，并且给组和用户授予和原来用户一样的权限（用户运行sudo与修改/usr/或/etc/等路径下的文件）
2.需要在各台机器上配置相同版本的jdk（为了方便，此处把jdk的安装路径都配置到相同的路径）
3.在各台机器上修改配置文件，使机器被命名为master与slave01/02等语义化的名字，并能像localhost一样被访问到
4.配置ssh登陆的密匙支持登陆，并让master能够免密码访问两个slave节点
正式安装：
1.先在master下载hadoop
2.master下配置hadoop/etc/hadoop下的配置文件
3.将在master配置好的hadoop文件夹复制到slave中
运行和检测：
1.格式化
2.jps

前期准备

• 创建hadoop用户和用户组
  1.命令$ sudo addgroup hadoop 可以用于创建hadoop用户组（由于这一步在之前已经添加好了，输入命令后会提示the group hadoop already exist，可以通过cat /etc/group查看所有的用户，运行后可以在列表中看到hadoop:x:1001:的字样表示hadoop已经存在）
  2.命令$ sudo adduser ingroup hadoop hadoop用于创建hadoop用户组下的hadoop用户（同样由于我在之前的操作中已经完成了这一步，我得到的提示是The user hadoop already exists.如果想查看组hadoop下的用户的话可以用命令cat /etc/passwd来查询，此命令下会返回一堆的组和用户，这里，组hadoop下面的是hadoop:x:1001:1001::/home/hadoop:，根据网上的说法，这里每行用冒号隔开，然后1001 是组id，后面可以看到hadoop用户在home文件夹下面 )
  3.给hadoop用户添加权限此处通过修改/etc/sudoers文件来修改hadoop用户的权限：$ sudo gedit /etc/sudoers可以用于打开文件/etc/sudoers，打开了文件之后，直接在root ALL=(ALL:ALL) ALL下面添加一行hadoop ALL=(ALL:ALL) ALL就可以让用户hadoop拥有和root一样的权限了）
  在运行sudo输入密码后，如果遇到授权不成功