Hadoop研究(一)安装与部署

原创 2017年07月17日 17:12:38

一、 前期准备和集群规划
这里使用的是虚拟机的方式进行Hadoop安装,故前期需要安装VMWare虚拟化软件。需要提前准备的安装包有如下:
1) jdk安装包,下载地址为:
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
这里我们所使用的jdk是:jdk-8u65-linux-x64.gz。
注1:需要注意jdk有32位和64位之分,应该根据你的系统进行恰当的选择,否则会出问题。
注2:将本机上的jdk文件拷贝到虚拟机上,可以使用复制粘贴命令,直接拖拽的方式会导致jdk包出问题。
2) Hadoop安装包,下载地址为:http://hadoop.apache.org/releases.html , 这里,我们使用是Hadoop版本是:hadoop-2.7.2。
3) 虚拟机准备: 本次安装,在VMware中准备了4台虚拟机,基本配置是:
内存,暂定4G; 硬盘,暂定20G; 操作系统,CentOS-7-x86_64-DVD-1611.iso
4) 集群规划

     Vmname         hostname       IP address         software               process 
   Hadoop_master      master     192.168.100.100    jdk/Hadoop      NameNode/ResourceManager
   Hadoop_slave1      slave1      192.168.100.101    jdk/Hadoop       DataNode/SecondNode
   Hadoop_slave2      slave2      192.168.100.102    jdk/Hadoop       DataNode
   Hadoop_slave3      slave3      192.168.100.103    jdk/Hadoop       DataNode

二、 jdk安装
1、 拷贝安装包: 默认经过前期准备,已经下载了可用的安装包,此时,将该安装包复制到虚拟机中。
2、 检查本地已有的jdk:一般情况下,centos系统自带了openjdk,首先,执行图1中第一个指令,查看是否包含openjdk,然后执行图中第二个指令,具体查看都有什么jdk。若存在,则对每一个jdk均执行图2中的指令,进行卸载操作。卸载完成,后,执行: $ java –version ,进行检测,若输出“java command not found”,则表示卸载成功。
3、 解压缩安装包:执行如下命令:

[zwp@localhost Desktop]$ tar -zvxf jdk-8u65-linux-x64.gz

注1:解压缩时要记住所在的目录,本次安装jdk的安装目录是:/home/hadoop1/Desktop/jdk1.8.0_65/
注2:解压缩正确之后,应该能够得到一个以jdk1.8.0_65命名的文件夹,该文件夹下包含了bin、db、include、jre、lib等文件夹及文件。否则,会出问题。
4、配置jdk的profile文件,该文件位于“/etc/profile”目录。具体配置内容如图3所示。将该内容加入到profile文件中。然后保存关闭该文件。(该配置文件的修改需要在root权限下进行)。
这里写图片描述
图 1 检查java 版本
这里写图片描述
图 2 卸载原有版本JDK
这里写图片描述
图 3 配置java环境变量
注1:修改并保存profile文件后,执行指令:# source profile, 然后执行: # exit ,退出root权限,
在hadoop1权限下再执行一次:sourceprofile,使profilerootjdk java -version 来查看具体的jdk安装情况及版本。这里显式的结果如下:
这里写图片描述
图 4 JDK版本生效
三、 虚拟机集群的基础配置
1、 生成虚拟机集群
已经在一台虚拟机上成功安装了jdk, 并且,已经将必须的Hadoop组件安装包拷贝到了该虚拟机上,下一步,需要生成虚拟机集群:使用VMware自带的克隆功能。
首先,将需要克隆的虚拟机关机(必须是关机状态,才能够实现克隆操作);然后,选中该虚拟机,右击选择“管理”—“克隆”,然后按照提示,进行下一步操作即可,其中,中间需要修改虚拟机的名字(即vmname),最后克隆成功后,关闭该克隆界面即可。
这里,虚拟出来了4台虚拟机,其vmname分别为:hadoop_master、hadoop_slave1、hadoop_slave2、hadoop_slave3.
2、 主机名修改
由于克隆产生的主机名全都是一样的,故,需要修改主机名。
进入该虚拟机,执行如图5所示的第一个命令:
这里写图片描述
图 5 修改hostname
之后,会出现一个认证界面,输入密码,回车即可:如图6所示:
这里写图片描述
图 6 认证界面
之后,可以执行指令: $ hostnamectl 来验证是否修改成功。

3、 IP地址的设置
主要是为master主机及其各个slave主机配置IP地址,并实现各自之间的内网通信。
1)本安装,实现对四台虚拟机的一个IP配置:
Master:192.168.100.100
slave1:192.168.100.101 slave2:192.168.100.102 slave3:192.168.100.103
并设置自动启动网络的选项。
配置之后,可以通过互相ping一下ip地址,检测是否能够正常通信。
2)修改hosts 文件:在master主机上,修改hosts文件,配置各个主机的hostname与IP地址的解析。
该host文件位于目录“/etc/hosts”,需要在root权限下修改该hosts文件。具体修改内容如下:
192.168.100.100 master
192.168.100.101 slave1
192.168.100.102 slave2
192.168.100.102 slave3
保存后退出,并将该hosts文件复制到其余3个slave主机上,具体执行指令:(下面指令需要在root权限下执行)
# cd /etc/
# scp hosts slave1:/etc/
# scp hosts slave2:/etc/
#scp hosts slave3:/etc/
4、 免密码登录实现
为了避免每次执行时需要大量地输入root的密码认证,故这里设置免密码登录实现。主要目的是实现,master主机对每个slave主机的免密码登录。具体操作步骤如下:
1) 生成RSA公钥和私钥:执行如图8所示的指令:ssh-keygen -t rsa -P ‘’ ,即可生成RSA的公钥与私钥。
这里写图片描述
图 7 ssh目录

这里写图片描述
图 8 ssh密钥生成
注1:该命令需要在master主机上,切换到root用户下,进入到/root/.ssh/文件夹下,执行,如上图7所示。由于.ssh可能是隐藏文件,需要执行:ls –a 来查看。
注2:密钥生成成功后,可以在.ssh目录下看到增加了两个文件“id_rsa”和“id_rsa.pub”分别代表私钥和公钥。
2) 将RSA公钥追加到到每个slave
这一步骤,实现将生成的密钥中的公钥发送到slave1、slave2、slave3三台虚拟机中,实现master对slave1、slave2、salve3的无密钥登录。
这里写图片描述
图 9 拷贝公钥到slave主机
注1:这里使用的是:ssh-copy-id slave1、 ssh-copy-id slave2、 ssh-copy-id slave3
有提示说,可以使用:cat id_rsa.pub >> slave1:/root/.ssh/authorized_keys 指令实现。但是,我执行该指令,出现了问题,提示slave1中没有authorized_keys文件,即无法实现正确的拷贝公钥。
3) 测试是否成功
此时,已经基本实现了该有的配置,可进行测试:
执行: #ssh slave1 , 即可实现登录到slave1系统中,如图9所示,最后一个命令的执行结果。
注1:需要关闭防火墙。
执行:
# systemctl stop firewalld.service
#systemctl disable firewalld.service

注2:如上步骤的执行是在master主机上进行的。
注3:此处生成的密钥需要是RSA的,因为对应的sshd_config文件下的配置是关于RSA的。
四、 安装Hadoop
1、 解压缩Hadoop安装包:成功后会生成一个hadoop-2.7.2的文件夹。里面包含了bin/sbin/lib/etc/include等。
tarzvxfhadoop2.7.2.tar.gz2Hadoopprofile1hadoopprofile/etc/profileprofilesourceprofile /.bashprofile2exportHADOOPHOME=/home/hadoop/Desktop/hadoop2.7.2exportPATH=PATH:HADOOPHOME/bin3Hadoop1masterslaveslave2/home/hadoop/Desktop/hadoop2.7.2/etc/hadoop1Hadoopenv.shJAVAHOMEexportJAVAHOME={JAVA_HOME}
为:export JAVA_HOME=/home/hadoop/Desktop/jdk1.8.0_65core-site.xml 文件:
主要是增加configuration的内容,如图10所示:
这里写图片描述
图 10 core-site.xml配置文件
3) hdfs-site.xml 文件
这里写图片描述
图 11 hdfs-site.xml配置文件
4) slaves文件
slaves文件中写上对s各个lave的标注:

slave1
slave2
slave3

5) 将各个配置文件拷贝到每个slave主机上
这里写图片描述

4、启动hdfs

NameNode初始化: ./bin/hdfs namenode -format
启动hdfs: ./ sbin/start-dfs.sh
成功启动后,可以通过执行: # jps 指令查看是否成功运行。如果成功运行了,在master主机上会出现 NameNode的进程;而在slave主机上会出现DataNode的进程。
在master的web浏览器上,通过网址: http://mater:50070 即可以通过web界面查看NameNode和DataNode的图形化界面的监控。

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/pinpinq/article/details/75255944

Storm学习笔记-集群环境安装部署

安装版本如下: apache-storm-1.0.1.tar.gz zookeeper-3.4.8.tar.gz 修改zookeeper配置文件zoo.cfg内容 tickTime=2000 in...
  • wulinshishen
  • wulinshishen
  • 2016-08-01 18:20:48
  • 936

Hadoop教程(五)Hadoop分布式集群部署安装

在hadoop2.0中通常由两个NameNode组成,一个处于active状态,另一个处于standby状态。Active NameNode对外提供服务,而Standby NameNode则不对外提供...
  • yuan_xw
  • yuan_xw
  • 2016-04-17 21:32:28
  • 9600

hadoop 2.4.1 部署--2 单节点安装

hadoop 2.4.1 虚拟机安装 ,单节点安装 1 java 环境变量的设置    2 设置账户,主机的hostname /etc/hosts  用户的.bash_profile ...
  • liuabc0719
  • liuabc0719
  • 2014-07-06 12:22:56
  • 2026

Ambari快速部署Hadoop大数据环境

Ambari 是什么 Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。...
  • cy309173854
  • cy309173854
  • 2017-02-27 11:36:01
  • 4796

超详细从零记录Hadoop2.7.3完全分布式集群部署过程

超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含,Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Had...
  • dream_an
  • dream_an
  • 2016-10-27 16:12:29
  • 22454

Kubernetes部署大数据组件系列二:一键部署Hadoop集群

系列一中忘了说明,用Kubernetes部署大数据容器平台,有一个很大的好处是压根不用操心容器间的网络通信,不管是同一物理服务器内,还是跨物理服务器间的网络通信,你都不用操心,只需要把容器间互相关心的...
  • hxpjava1
  • hxpjava1
  • 2017-11-15 21:23:19
  • 488

Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)

历时一周多,终于搭建好最新版本hadoop2.2集群,期间遇到各种问题,作为菜鸟真心被各种折磨,不过当wordcount给出结果的那一刻,兴奋的不得了~~(文当中若有错误之处或疑问欢迎指正,互相学习)...
  • licongcong_0224
  • licongcong_0224
  • 2013-10-23 16:27:31
  • 76852

编写一键安装伪分布式Hadoop的脚本

编写一键安装伪分布式Hadoop的脚本
  • canot
  • canot
  • 2016-02-28 22:20:00
  • 1455

阿里云ECS部署hadoop

创建实例 选取阿里云ECS产品,4台机器,配置为:1核、1G内存、CentOS 6.8 64位 阿里云操作系统的选择,以及系统软件安装命令 查看一下系统信息: uname -a 结果: L...
  • stella_wu1017
  • stella_wu1017
  • 2017-06-02 14:11:46
  • 602

Hadoop2.7.3及常用组件安装和配置

最近在学Hadoop,从最开始的安装配置,到简单的小程序,再到项目实战,都非常的有趣。最开始也是在网上找了很多教程来入门,但是因为有的教程是比较早期的Hadoop1.x甚至Hadoop0.x的,有些配...
  • Lasting_Ever
  • Lasting_Ever
  • 2017-02-10 17:20:30
  • 733
收藏助手
不良信息举报
您举报文章:Hadoop研究(一)安装与部署
举报原因:
原因补充:

(最多只允许输入30个字)