Hadoop搭建过程
一、安装准备
虚拟机:CentOS-6.5-x86_64-bin-DVD1.iso
Java:jdk-7u79-linux-x64.gz
Hadoop:hadoop-2.6.0
安装过程为先在一台虚拟机中配置好时钟、安好jdk、安装并配置好hadoop再进行克隆操作,之后再在master和slave上分别进行其它配置。
二、安装过程
1、安装虚拟机
下载好的压缩包由三部分组成,第一个是序列号,安装时有一步需要将其粘贴上。第二个是汉化包。最后一个就是实际8.04版本的安装包。
安装时点击最后一个exe基本就“下一步”就可以,因为本来以前就装好了所以我点击时它提醒我已经有在运行的了。需要提一下的时,在进行汉化包的安装时,需要将虚拟机关掉。但实际是关掉以后后台还是有进程,所以需要到任务管理器里关。我在实际操作过程中并没有关掉后台进程,然后安装汉化包时会提醒有装不了的部分,之间点击“忽略”即可,因为一小部分不能汉化根本不影响使用。点击新建虚拟机。进入新建虚拟机向导界面。
这里需要注意的是我们习惯性会选择安装盘镜像文件,但这样不对。因为如果选择此项默认的是最简化安装。所以我们选择创建一个虚拟空白硬盘。对新建的虚拟机起名并分配20G存储空间,实际不需要这么大,而且这也不意味着我就有20G的剩余内存,只是给它设置成这样,之后实际使用中并不会这么大。
新建后的空硬盘如图,之后在这个壳中安装真正的Linux。
点击左上角“编辑虚拟机设置”,可以看到虚拟机设置,内存推荐的最大内存是8G,需要提的是Centos6最小内存是628M,所以分配不能少于这个数值。CPU可以选择虚拟化,就是将真实机的性能完全映射到虚拟机中,这特别适合跑大数据,但缺点是占用实际CPU。
CD中的设备状态必须选择“已连接”,此处没有选是因为还没有开机所以是灰的,一旦开机必须得选。否则光盘放进去以后虚拟机会找不到。下面的链接选择“使用ISO镜像文件”。
网络配置中,桥接代表可以直接和真实机通信,好处是配置简单,直接选择桥接即可,也可以和其他网络设备通信,缺点是虚拟机会占用真实机的一个网段的一个IP。但选择剩下两个是用虚拟网卡和真实机通信,但不能和其他网络设备通信。
虚拟机中有一个快照功能,点击第一个画圈处会建立快照,它会将你此时虚拟机的设置和状态完全保存下来,一旦系统奔溃或出现错误,点击第二个画圈处就可以恢复记录快照时的虚拟机状态,特别适合学习使用。在虚拟机、管理中有一个克隆,可选择连接克隆还是原始克隆,克隆出一个和当前虚拟机一模一样的虚拟机,不同是连接克隆当原先的崩溃时也不能用了,但原始克隆就不会。
打开电源以后,快速按F2键,选择BOOT可更改启动项,默认的是硬盘启动但我们现在硬盘里没有所以应该选择光驱启动,然后保存退出。需要注意的是在再一次启动时需要把硬盘启动改回来否则每次都是光驱启动。但实际上,虚拟机是十分智能的,这一步完全可以不做,虚拟机在开机时自己就识别出硬盘中没有内容然后跳到光驱启动了。
选择install进行安装。跳过镜像检查即可。“Ctrl+Alt+enter”全屏,“Ctrl+Alt”退出全屏。
点击下一步,选择简体中文、标准美式键盘、基本存储,填写主机名,选择上海(没有北京,北京和上海是同一时区)。我们选择自定义分区,/home 2000; /boot 200; swap 1000; / 剩下所有空间。点击下一步一直,选择最小化安装,完成安装。
2、添加root用户
系统hostname为master,username为jyli。为方便之后操作首先将jyli添加root权限。修改/etc/sudoers 文件,找到下面一行,在root下面添加一行,如下所示:
## Allow root to run any commands anyw