最近刚开始学习HADOOP,跟着一个视频初步了解了一些HADOOP的基本的安装过程,感觉有必要总结一下,以便后续可以温习一下[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NuUV6lrm-1660628488651)(http://static.blog.csdn.net/xheditor/xheditor_emot/default/smile.gif)]
1.前期准备
(1)虚拟机:我采用的是截止当前最新的VMware虚拟机(64位);
(2)下载虚拟机的安装镜像文件:我用的事CentOS 7.2版本(64位),至于用64位还是32位取决于机器物理配置,建议4G内存以及以上使用64位
(3)下载java Jdk:由于HADOOP的底层也是基于java程序编写的所以要想正常运行HADOOP需要在linux环境下安装jdk,我用的是jdk1.8;
(4) 下载hadoop使用的jar包:我采用的是hadoop-2.6.5.tar.gz的binary包,不是source包,据说source包再配以maven管理也可以(具体不太清楚);
2.安装相关工具
(1)安装虚拟机:很简单的安装不再赘述;
(2)在虚拟机中安装CentOS 7.2 ,可查考网上教程进行安装:http://www.linuxidc.com/Linux/2014-10/108013.htm
(3)安装jdk以及配置相关的环境变量:
1)下载jdk1.8版本:jdk-linux-x64.tar.gz 具体可到Apache的官网去下载
2)可以使用ftp工具将jdk上传到虚拟机上,然后执行解压命令,我将jar包解压到了/usr/java文件夹下:
执行的命令为:
mkdir /usr/java
tar -zxvf jdk-linux-x64.tar.gz -C /usr/java
配置jdk的环境变量:
在关于linux下全局的环境变量的配置文件在根目录下的etc文件夹下的profiles文件中 路径为 : /etc/profiles
然后在文件的最后添加白色部分的代码;
然后需要使添加的环境变量生效,执行命令:source /etc/profiles
再然后 执行命令:java -version ,能够显示信息,说明安装已经成功:
(4)HADOOP的安装以及配置文件的配置:
首先我也将hadoop-2.6.5.tar.gz放到了tools文件夹下,为了方便后续的配置,我再根目录下创建了一个bigdata的文件夹用来存放相关的工具:
mkdir /bigdata
然后将hadoop的压缩包解压到/bigdata目录下:tar -zxvf hadoop=2.5.6.tar.gz -C /bigdata
修改/etc/hosts文件修改虚拟机名称:加入最后一行的内容
然后需要配置一下对/bigdata/hadoop-2.6.5/etc/hadoop下的几个文件进行配置具体各个配置文件内容如下:
1)core-site.xml文件:
2)mapred-site.xml
3)yarn-site.xml 文件
4)配置hdfs-site.xml
格式化hdfs:
进入到/bigdata/hadoop-2.6.5/sbin 目录,然后执行命令:./hdfs namenode -format 然后执行成功后会在 ./bigdata目录下生成tem文件夹,如果生成了说明命令执行成功,注意如果要重新格式化,之前最好是先删掉tem文件目录(否则多次格式化后,在启动./start-dfs.sh脚本时可能会报错);
启动start-dfs.sh脚本:
再进入/bigdata/hadoop-2.6.5/sbin然后执行命令./start-dfs.sh命令 ,在弹出的命令行中出入yes后,会需要输入三次root的用户的密码,这是有序linux在底层创建SecondaryNameNode、DataNode、NameNode时采用SSH登陆的形式(具体我也不太明白),可以设置成SSH免登陆的形式,后续会再研究
执行成功后,执行命令 jps查看,会查看到有三个进程存在:
启动start-yarn.sh****脚本:
脚本启动成功后会看到两个进行:
至此hadoop的启动已经成功:
可以打开浏览器登录查看hadoop的管理界面:
输入:http://192.168.152.128:50070 前面是虚拟机的IP地址,50070为hadoop的默认端口号,对于之前配置的9000为hadoop的底层通信的端口号不是访问请求的端口号:
同时也可以访问yarn的管理页面 将端口号改为8088即可:http://192.168.152.128:8088:
至此本次hadoop启动成功!
新手初学,有部队的地方还望多担待!
!