自制Hadoop伪分布、集群安装详细过程（vmware）

Hadoop单机版、伪分布、集群安装教程推荐链接：

http://dblab.xmu.edu.cn/blog/page/2/?s=Hadoop

注：vmware6.5及以上，执行命令基本相同，除了编辑文件时“vi”指令替换为“vim”指令

一、下载安装所需文件

         1.vmware10中文版

         2.centos6.4

         3.jdk1.8-Linux-32位

         4.Hadoop2.7.1（要求jdk版本为1.7及以上）

         5.spark2.2.1（要求hadoop版本为2.7）

 

二、安装虚拟机

         1.安装vmware（具体细节可百度vmware安装）。

         2.新建虚拟机

                   打开解压过的centos/centos.vmx

         3.克隆虚拟机

                   选中虚拟机/右键/管理/克隆

         4.查看虚拟机版本

                   查看centos版本命令：rpm -q centos-release

                   查看系统是32位还是64位：getconf LONG_BIT

        

三、hadoop伪分布安装（选centos虚拟机安装）

         1.root用户名登陆，密码hadoop

                   之后已将主机名修改为hadoop 密码 hadoop    IP 192.168.0.253

         2.设置IP、主机名、绑定主机名和关闭防火墙

                   （1）设置静态IP

                            桌面右上角连接  右键 编辑连接

                            IPv4 method：从automatic（DCHCP）动态分配IP调整为Manual静态IP

                            设置与主机在同一个网段 可以用ipconfig和ping IP实现

                            本机IP     192.168.0.221

                            vmware vmnet1 192.168.0.251                vmnet8    192.168.0.252

         service network restart //重启网卡

                   （2）修改主机名

                            hostname         //查看当前主机名

                            hostname hadoop   //对于当前界面修改主机名

                            vi /etc/sysconfig/network 进入配置文件下 修改主机名为hadoop

                            reboot -h now //重启虚拟机

                            //执行vi读写操作          按a修改 修改完之后   Esc   输入 :wq 回车 保存退出

3.hostname和主机绑定

                   vi /etc/hosts    //在前两行代码下添加第三行192.168.0.253 hadoop

                   之后 ping hadoop验证即可

   

 

4.关闭防火墙

                   service iptables stop        //关闭防火墙

                   service iptables status    //查看防火墙状态

                   chkconfig iptables off       //关闭防火墙自动运行

                   chkconfig --list | grep iptables          //验证是否全部关闭

5.配置ssh免密码登陆（centos默认安装了SSH client、SSH server）

                   rpm -qa |grep ssh

                   //验证是否安装SSH，若已安装，界面如下

         接着输入ssh localhost

         输入yes  会弹出以下窗体内容

         即每次登陆都需要密码

                   exit            //退出ssh localhost

                   cd ~/.ssh/         //若不存在该目录，执行一次ssh localhost

                   ssh-keygen -t rsa 之后多次回车

                   cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys           //加入授权

                   chmod 600 ./authorized_keys             //修改文件权限

注：在 Linux 系统中，~ 代表的是用户的主文件夹，即 "/home/用户名" 这个目录，如你的用户名为 hadoop，则 ~ 就代表 "/home/hadoop/"。 

操作完成之后输入ssh localhost验证 出现Last login

6.安装java环境

                   （1）将本机已下载的jdk1.8上传到centos服务器下：

                            方法一：下载Xshell5，点击新建文件传输

之后按要求下载Xftp，下载安装之后根据主机IP及用户名和密码登录虚拟机