Hadoop完全分布式安装教程
目录
一、软件版本....................................................... 2
二、安装教程....................................................... 2
1、VMWare安装教程.............................................. 2
2、Ubuntu安装教程.............................................. 2
3、安装VMWare-Tools............................................ 5
4、用户创建..................................................... 8
5、主机配置..................................................... 8
6、SSH无密码验证配置........................................... 9
7、Java环境配置................................................ 9
8、hadoop集群安装............................................. 10
三、运行wordcount程序............................................ 20
一、软件版本
Hadoop版本号:hadoop-2.6.0.tar;
VMWare版本号:VMware-workstation-full-11.0.0-2305329
Ubuntu版本号:ubuntu-14.04.1-desktop-i386其他版本也可
Jdk版本号:jdk-6u45-linux-i586.bin
后三项对版本要求不严格,如果使用Hbase1.0.0版本,需要JDK1.8以上版本。
二、安装教程
1、VMWare安装教程
VMWare虚拟机是个软件,安装后可用来创建虚拟机,在虚拟机上再安装系统,在这个虚拟系统上再安装应用软件,所有应用就像操作一台真正的电脑,
请直接到VMWare官方网站下载相关软件
http://www.vmware.com/cn/products/workstation/workstation-evaluation
以上链接如果因为官方网站变动发生变化,可以直接在搜索引擎中搜索VMWare来查找其下载地址,建议不要在非官方网站下载。
安装试用版后有30天的试用期。
2、Ubuntu安装教程
打开VMWare点击创建新的虚拟机
选择典型
点击浏览
选择ubuntu
暂时只建两个虚拟机,注意分别给两个虚拟机起名为Ubuntu1和Ubuntu2;也可以按照自己的习惯取名,但是后续的许多配置文件要相应更改,会带来一些麻烦。
密码也请记牢,后面会经常使用。
3、安装VMWare-Tools
Ubuntu中会显示有光盘插入了光驱
双击打开光盘将光盘中VMwareTools-9.6.1-1378637.tar.gz复制到桌面,复制方法类似windows系统操作。
点击Extract Here
从菜单打开Ubuntu的控制终端
cdDesktop/vmware-tools-distrib/
sudo./vmware-install.pl
输入root密码,一路回车,重启系统
原理
在sudo于1980年前后被写出之前,一般用户管理系统的方式是利用su切换为超级用户。但是使用su的缺点之一在于必须要先告知超级用户的密码。
sudo使一般用户不需要知道超级用户的密码即可获得权限。首先超级用户将普通用户的名字、可以执行的特定命令、按照哪种用户或用户组的身份执行等信息,登记在特殊的文件中(通常是/etc/sudoers),即完成对该用户的授权(此时该用户称为“sudoer”);在一般用户需要取得特殊权限时,其可在命令前加上“sudo”,此时sudo将会询问该用户自己的密码(以确认终端机前的是该用户本人),回答后系统即会将该命令的进程以超级用户的权限运行。之后的一段时间内(默认为5分钟,可在/etc/sudoers自定义),使用sudo不需要再次输入密码。
由于不需要超级用户的密码,部分Unix系统甚至利用sudo使一般用户取代超级用户作为管理帐号,例如Ubuntu、Mac OS X等。
注意: ubuntu安装后,root 用户默认是被锁定了的,不允许登录,也不允许“ su” 到root 。
允许 su 到root
非常简单,下面是设置的方法:
注意:ubuntu安装后要更新软件源:
cd /etc/apt
sudo apt-get update
安装各种软件比较方便
4、用户创建
创建hadoop用户组:sudo addgroup hadoop
创建hduser用户:sudoadduser -ingroup hadoop hduser
注意这里为hduser用户设置同主用户相同的密码
为hadoop用户添加权限:sudogedit /etc/sudoers,在root ALL=(ALL) ALL下添加
hduser ALL=(ALL) ALL。
执行命令报错切换到目录编辑
设置好后重启机器:sudo reboot
切换到hduser用户登录;
5、主机配置
Hadoop集群中包括2个节点:1个Master,2个Salve,其中虚拟机Ubuntu1既做Master,也做Slave;虚拟机Ubuntu2只做Slave。
配置hostname:Ubuntu下修改机器名称:sudo gedit /etc/hostname ,改为Ubuntu1;修改成功后用重启命令:hostname,查看当前主机名是否设置成功;
此时可以用虚拟机克隆的方式再复制一个。(先关机 vmware 菜单--虚拟机-管理--克隆)
注意:修改克隆的主机名为Ubuntu2。
配置hosts文件:查看Ubuntu1和Ubuntu2的ip:ifconfig;
打开hosts文件:sudogedit /etc/hosts
,添加如下内容:
192.168.xxx.xxx Ubuntu1
192.168.xxx.xxx Ubuntu2
注意这里的ip地址需要学员根据自己的电脑的ip设置。
在Ubuntu1上执行命令:pingUbuntu2,若能ping通,则说明执行正确。
$$$$$$$$$$$$配置ssh