大数据环境配置分布式安装hdoop

 Hadoop完全分布式安装教程

 

 

目录

一、软件版本....................................................... 2

二、安装教程....................................................... 2

1、VMWare安装教程.............................................. 2

2、Ubuntu安装教程.............................................. 2

3、安装VMWare-Tools............................................ 5

4、用户创建..................................................... 8

5、主机配置..................................................... 8

6、SSH无密码验证配置........................................... 9

7、Java环境配置................................................ 9

8、hadoop集群安装............................................. 10

三、运行wordcount程序............................................ 20

 

 

 

 

 

 

 

 

 

 

 

 

 

一、软件版本

Hadoop版本号：hadoop-2.6.0.tar；

VMWare版本号：VMware-workstation-full-11.0.0-2305329

Ubuntu版本号：ubuntu-14.04.1-desktop-i386其他版本也可

Jdk版本号：jdk-6u45-linux-i586.bin

后三项对版本要求不严格，如果使用Hbase1.0.0版本，需要JDK1.8以上版本。

 

二、安装教程

1、VMWare安装教程

       VMWare虚拟机是个软件，安装后可用来创建虚拟机，在虚拟机上再安装系统，在这个虚拟系统上再安装应用软件，所有应用就像操作一台真正的电脑，

请直接到VMWare官方网站下载相关软件

http://www.vmware.com/cn/products/workstation/workstation-evaluation

       以上链接如果因为官方网站变动发生变化，可以直接在搜索引擎中搜索VMWare来查找其下载地址，建议不要在非官方网站下载。

       安装试用版后有30天的试用期。

 

2、Ubuntu安装教程

打开VMWare点击创建新的虚拟机

选择典型

点击浏览

选择ubuntu

 

  暂时只建两个虚拟机，注意分别给两个虚拟机起名为Ubuntu1和Ubuntu2；也可以按照自己的习惯取名，但是后续的许多配置文件要相应更改，会带来一些麻烦。

  密码也请记牢，后面会经常使用。

 

3、安装VMWare-Tools

  

Ubuntu中会显示有光盘插入了光驱

 

双击打开光盘将光盘中VMwareTools-9.6.1-1378637.tar.gz复制到桌面，复制方法类似windows系统操作。

 

点击Extract Here

 

从菜单打开Ubuntu的控制终端

 

cdDesktop/vmware-tools-distrib/

sudo./vmware-install.pl

输入root密码，一路回车，重启系统

原理

编辑

在sudo于1980年前后被写出之前，一般用户管理系统的方式是利用su切换为超级用户。但是使用su的缺点之一在于必须要先告知超级用户的密码。

sudo使一般用户不需要知道超级用户的密码即可获得权限。首先超级用户将普通用户的名字、可以执行的特定命令、按照哪种用户或用户组的身份执行等信息，登记在特殊的文件中（通常是/etc/sudoers），即完成对该用户的授权（此时该用户称为“sudoer”）；在一般用户需要取得特殊权限时，其可在命令前加上“sudo”，此时sudo将会询问该用户自己的密码（以确认终端机前的是该用户本人），回答后系统即会将该命令的进程以超级用户的权限运行。之后的一段时间内（默认为5分钟，可在/etc/sudoers自定义），使用sudo不需要再次输入密码。

由于不需要超级用户的密码，部分Unix系统甚至利用sudo使一般用户取代超级用户作为管理帐号，例如Ubuntu、Mac OS X等。

 

 

注意： ubuntu安装后，root 用户默认是被锁定了的，不允许登录，也不允许“ su” 到root 。

允许 su 到root

 

非常简单，下面是设置的方法：

 

注意：ubuntu安装后要更新软件源：

cd /etc/apt

sudo apt-get update

安装各种软件比较方便

 

4、用户创建

创建hadoop用户组：sudo addgroup hadoop 

   创建hduser用户：sudoadduser -ingroup hadoop hduser

   注意这里为hduser用户设置同主用户相同的密码

   为hadoop用户添加权限：sudogedit /etc/sudoers，在root ALL=(ALL) ALL下添加

hduser ALL=(ALL) ALL。

执行命令报错切换到目录编辑

设置好后重启机器：sudo reboot

 

切换到hduser用户登录；

 

5、主机配置

Hadoop集群中包括2个节点：1个Master，2个Salve，其中虚拟机Ubuntu1既做Master,也做Slave；虚拟机Ubuntu2只做Slave。

   配置hostname：Ubuntu下修改机器名称:sudo gedit /etc/hostname ，改为Ubuntu1；修改成功后用重启命令：hostname,查看当前主机名是否设置成功；

 

此时可以用虚拟机克隆的方式再复制一个。（先关机 vmware 菜单--虚拟机-管理--克隆）

注意：修改克隆的主机名为Ubuntu2。

  

   配置hosts文件：查看Ubuntu1和Ubuntu2的ip：ifconfig；

   打开hosts文件：sudogedit /etc/hosts

，添加如下内容：

  192.168.xxx.xxx Ubuntu1

  192.168.xxx.xxx Ubuntu2

 注意这里的ip地址需要学员根据自己的电脑的ip设置。

 在Ubuntu1上执行命令：pingUbuntu2，若能ping通，则说明执行正确。

$$$$$$$$$$$$配置ssh