CDH5 + ZOOKEEPER + HIVE安装

最新推荐文章于 2022-02-17 20:00:00 发布
最新推荐文章于 2022-02-17 20:00:00 发布
阅读量182 收藏
点赞数
文章标签： 大数据 运维 java
原文链接：https://my.oschina.net/u/1433803/blog/780039
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

安装大概步骤：

  • JDK
  • SSH免密码登录
  • NTPDATE 时间同步
  • 网络配置
  • CDH5 安装
  • ZOOKEEPER安装
  • HIVE安装
主机IP  hsotname角色
172.21.25.100namenode.yxnrtf.openpfNameNode  
172.21.25.104datanode01.yxnrtf.openpfDataNode  
172.21.25.105datanode02.yxnrtf.openpfDataNode

1、JDK安装

tar -zxvf jdk-7u80-linux-x64.gz -C /usr/local/java

配置环境变量

#java
export JAVA_HOME=/usr/local/java/jdk1.7.0_80
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

验证：java -version

2、SSH免密登录

    各个节点都执行下面该命令，会在/root/下生成.ssh 文件夹，

ssh-keygen –t rsa –P ''

在NameNode节点上将 id_rsa.pub追加到key里面去

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

将DataNode节点的 id_rsa.pub依次 追加到 主节点的 keys里面

scp ~/.ssh/id_rsa.pub root@172.21.25.100:~/
scp ~/id_rsa.pub hadoop@172.21.25.100:~/authorized_keys

将NameNode节点的authorized_keys 传到DataNode节点上

scp ~/.ssh/authorized_keys root@172.21.25.104:~/.ssh/
scp ~/.ssh/authorized_keys root@172.21.25.105:~/.ssh/
chmod 600 ~/.ssh/authorized_keys # 各个DataNode节点上修改文件权限

在所有的节点上修改/etc/ssh/sshd_config 文件

RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）
service sshd restart # 重启ssh服务

验证 ssh localhost,  ssh DataNode  IP  ，这样节点之间可以相互访问

3、NTPDate 时间同步
       时间同步是通过crontab 定时任务 ntpdate 来实现时间同步，不采用NTP是因为时间上超过某个值就无法实现同步。每5分钟实现一次同步

crontab -e  # crond 命令
*/5 * * * * /usr/sbin/ntpdate ntp.oss.XX  && hwclock --systohc   #ntp.oss.XX 是你的NTP服务器

4、网络配置

    所有机器关闭防火墙，添加/etc/hosts

service iptables status
service iptables stop

添加/etc/hosts

172.21.25.100 namenode.yxnrtf.openpf
172.21.25.104 datanode01.yxnrtf.openpf
172.21.25.105 datanode02.yxnrtf.openpf

 5、安装CDH5

   在NameNode节点上执行

wget http://archive.cloudera.com/cdh5/one-click-install/redhat/6/x86_64/cloudera-cdh-5-0.x86_64.rpm

    禁用GPG签名检查，并安装本地软件包

yum --nogpgcheck localinstall cloudera-cdh-5-0.x86_64.rpm

添加cloudera仓库验证：

rpm --import http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera

NameNode 节点上安装 软件包namenode、resourcemanager、nodemanager、datanode、mapreduce、historyserver、proxyserver和hadoop-client：

yum install hadoop hadoop-hdfs hadoop-client hadoop-doc hadoop-debuginfo hadoop-hdfs-namenode hadoop-yarn-resourcemanager hadoop-yarn-nodemanager hadoop-hdfs-datanode hadoop-mapreduce hadoop-mapreduce-historyserver hadoop-yarn-proxyserver -y

DataNode 节点上安装

yum install hadoop hadoop-hdfs hadoop-client hadoop-doc hadoop-debuginfo hadoop-yarn hadoop-hdfs-datanode hadoop-yarn-nodemanager hadoop-mapreduce -y

SecondaryNamenode 安装，本人是在NameNode节点上安装的，如果安装在其他服务器上，之后的一些一些配置需要进行修改

yum install hadoop-hdfs-secondarynamenode -y

在/etc/hadoop/conf/hdfs-site.xml 中添加如下配置

<property>
		<name>dfs.namenode.checkpoint.check.period</name>
		<value>60</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.txns</name>
		<value>1000000</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///data/cache1/dfs/namesecondary</value>
	</property>
	<property>
		<name>file:///data/cache1/dfs/namesecondary</name>
		<value>hdfs</value>
	</property>
	<property>
		<name>dfs.namenode.num.checkpoints.retained</name>
		<value>2</value>
	</property>
	<!-- 将namenode.yxnrtf.openpf设置成SecondaryNameNode -->
	<property>
		<name>dfs.secondary.http.address</name>
		<value>namenode.yxnrtf.openpf:50090</value>
	</property>

在NameNode节点上创建目录

mkdir -p /data/cache1/dfs/nn
chown -R hdfs:hadoop /data/cache1/dfs/nn
chmod 700 -R /data/cache1/dfs/nn

在DataNode节点上创建目录

mkdir -p /data/cache1/dfs/dn
mkdir -p /data/cache1/dfs/mapred/local
chown -R hdfs:hadoop /data/cache1/dfs/dn
chmod 777 -R /data/
usermod -a -G mapred hadoop
chown -R mapred:hadoop /data/cache1/dfs/mapred/local

各个节点上在/etc/profile上添加如下配置

export HADOOP_HOME=/usr/lib/hadoop
export HIVE_HOME=/usr/lib/hive
export HBASE_HOME=/usr/lib/hbase
export HADOOP_HDFS_HOME=/usr/lib/hadoop-hdfs
export HADOOP_MAPRED_HOME=/usr/lib/hadoop-mapreduce
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=/usr/lib/hadoop-hdfs
export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HDFS_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_YARN_HOME=/usr/lib/hadoop-yarn
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$PATH

source /etc/profile 让其生效

在NameNode节点上添加/etc/hadoop/conf/core-site.xml 如下配置

<property>
		<name>fs.defaultFS</name>
		<value>hdfs://namenode.yxnrtf.openpf:9000</value>
	</property>

	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>

	<property>
		<name>hadoop.proxyuser.hadoop.hosts</name>
		<value>namenode.yxnrtf.openpf</value>
	</property>
	<property>
		<name>hadoop.proxyuser.hadoop.groups</name>
		<value>hdfs</value>
	</property>
	<property>
		<name>hadoop.proxyuser.mapred.groups</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.mapred.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.yarn.groups</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.yarn.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.httpfs.hosts</name>
		<value>httpfs-host.foo.com</value>
	</property>
	<property>
		<name>hadoop.proxyuser.httpfs.groups</name>
		<value>*</value>
	</property>
	
	<property>
		<name>hadoop.proxyuser.hive.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.hive.groups</name>
		  <value>*</value>
	</property>

在/etc/hadoop/conf/hdfs-site.xml添加如下配置

<property>
		<name>dfs.namenode.name.dir</name>
		<value>/data/cache1/dfs/nn/</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/data/cache1/dfs/dn/</value>
	</property>
	<property>
	 	 <name>dfs.hosts</name>
		 <value>/etc/hadoop/conf/slaves</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
	<property>
		<name>dfs.permissions.superusergroup</name>
		<value>hdfs</value>
	</property>

在/etc/hadoop/conf/mapred-site.xml添加如下配置

<property>
		<name>mapreduce.jobhistory.address</name>
		<value>namenode.yxnrtf.openpf:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>namenode.yxnrtf.openpf:19888</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.joblist.cache.size</name>
		<value>50000</value>
	</property>

<!-- 前面在HDFS上创建的目录 -->
	<property>
		<name>mapreduce.jobhistory.done-dir</name>
		<value>/user/hadoop/done</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.intermediate-done-dir</name>
		<value>/user/hadoop/tmp</value>
	</property>

	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

在/etc/hadoop/conf/yarn-site.xml 添加如下配置

	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>

	<property>
		<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>

	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>

	<property>
		<description>List of directories to store localized files in.</description>
		<name>yarn.nodemanager.local-dirs</name>
		<value>/var/lib/hadoop-yarn/cache/${user.name}/nm-local-dir</value>
	</property>

	<property>
		<description>Where to store container logs.</description>
		<name>yarn.nodemanager.log-dirs</name>
		<value>/var/log/hadoop-yarn/containers</value>
	</property>

	<property>
		<description>Where to aggregate logs to.</description>
		<name>yarn.nodemanager.remote-app-log-dir</name>
		<value>hdfs://namenode.yxnrtf.openpf:9000/var/log/hadoop-yarn/apps</value>
	</property>

	<property>
		<name>yarn.resourcemanager.address</name>
		<value>namenode.yxnrtf.openpf:8032</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address</name>
		<value>namenode.yxnrtf.openpf:8030</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address</name>
		<value>namenode.yxnrtf.openpf:8088</value>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address</name>
		<value>namenode.yxnrtf.openpf:8031</value>
	</property>
	<property>
		<name>yarn.resourcemanager.admin.address</name>
		<value>namenode.yxnrtf.openpf:8033</value>
	</property>

	<property>
		<description>Classpath for typical applications.</description>
		<name>yarn.application.classpath</name>
		<value>
			$HADOOP_CONF_DIR,
			$HADOOP_COMMON_HOME/*,
			$HADOOP_COMMON_HOME/lib/*,
			$HADOOP_HDFS_HOME/*,
			$HADOOP_HDFS_HOME/lib/*,
			$HADOOP_MAPRED_HOME/*,
			$HADOOP_MAPRED_HOME/lib/*,
			$HADOOP_YARN_HOME/*,
			$HADOOP_YARN_HOME/lib/*
		</value>
	</property>

	<property>
		<name>yarn.web-proxy.address</name>
		<value>namenode.yxnrtf.openpf:54315</value>
	</property>

修改/etc/hadoop/conf/slaves

datanode01.yxnrtf.openpf
datanode02.yxnrtf.openpf

在yarn.env.xml 注释的下面添加

export JAVA_HOME=/usr/local/java/jdk1.7.0_80

将/etc/hadoop/conf 这个目录拷贝到datanode节点上

scp -r conf/ root@172.21.25.104:/etc/hadoop/
scp -r conf/ root@172.21.25.105:/etc/hadoop/

NameNode节点上启动

hdfs namenode –format
service hadoop-hdfs-namenode init
service hadoop-hdfs-namenode start
service hadoop-yarn-resourcemanager start
service hadoop-yarn-proxyserver start
service hadoop-mapreduce-historyserver start

DataNode节点上启动

service hadoop-hdfs-datanode start
service hadoop-yarn-nodemanager start

在浏览器中查看

http://172.21.25.100:50070

HDFS

http://172.21.25.100:8088

ResourceManager(Yarn)

http://172.21.25.100:8088/cluster/nodes

在线的节点

http://172.21.25.100:8042

 

NodeManager

http://172.21.25.104:8042

http://172.21.25.104:8042

http://172.21.25.100:19888/

JobHistory

6、ZOOKEEPER安装

各个节点运行如下命名

yum install zookeeper* -y

NameNode节点上修改配置文件/etc/zookeeper/conf/zoo.cfg

#clean logs
autopurge.snapRetainCount=3
autopurge.purgeInterval=1
server.1=namenode.yxnrtf.openpf:2888:3888
server.2=datanode01.yxnrtf.openpf:2888:3888
server.3=datanode01.yxnrtf.openpf:2888:3888

在NameNode上启动

service zookeeper-server init --myid=1
service zookeeper-server start

DataNode 节点1上启动

service zookeeper-server init --myid=2
service zookeeper-server start

DataNode 节点2上启动

service zookeeper-server init --myid=3
service zookeeper-server start

此处需要注意的是--myid的值的设置要和配置文件中的一直

验证启动情况，在NameNode节点上运行命令

zookeeper-client -server traceMaster:2181

 

转载于:https://my.oschina.net/u/1433803/blog/780039

weixin_34060741
关注
最最最详细的Hadoop+HBase+Zookeeper+Hive完全分布式环境搭建教程
qq_38497133的博客
06-29 3775
文章目录一、准备工作二、hadoop搭建1.配置主机名和主机列表2.配置免密登录3.配置环境变量4.配置hadoop配置文件三、HBase配置1.配置hbase-site.xml文件2.配置hbase-env.sh文件3.配置log4j.properties文件4.配置regionservers四、集群搭建1.修改hdfs-site.xml文件2.修改slaves文件3.复制到另外两台机器上五、Zookeeper搭建1.配置zoo.cfg文件2.创建myid文件并启动zookeeper3.启动hbase4.
Hadoop+zookeeper+Hbase+Hive(hadoop环境搭建)
nj_hao的博客
07-06 1331
文章目录准备linux环境搭建及jdk安装配置hadoop集群搭建单机版hadoop配置环境变量修改主机名和主机列表配置免密登录`/opt/hadoop260/etc/hadoop`目录下配置 准备 hadoop-2.6.0-cdh5.14.2.tar.gz hadoop-native-64-2.6.0.tar hbase-1.2.0-cdh5.14.2.tar.gz hive-1.1.0-cdh5.14.2.tar.gz jdk-8u221-linux-x64.tar.gz zookeeper-3.4.6
zookeeper-cdh5.3.6
02-22
zookeeper-cdh5.3.6 压缩包，直接解压并修改相关配置文件即可使用， zookeeper-cdh5.3.6 压缩包，直接解压并修改相关配置文件即可使用， zookeeper-cdh5.3.6 压缩包，直接解压并修改相关配置文件即可使用
zookeeper-3.4.5-cdh5.10.0.tar.gz
05-12
zookeeper-3.4.5-cdh5.10.0.tar.gz工具包用于支持hadoop的高可用热备管理
cdh5+hive+zookeeper集群环境搭建
weixin_30607659的博客
11-28 212
环境 1、centos6.5（64位） 机器规划及节点分布 主机角色节点节点节点节点节点 192.168.115.132 master namenode journalnode zk hive 192.168.115.133 slave1 namenode datanode journalnode zk hive ...
zookeeper-3.4.5-cdh5.12.0
09-10
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 ZooKeeper包含一个简单的原语集，[1] 提供Java和C的接口。 ZooKeeper代码版本中，提供了分布式独享锁、选举、队列的接口。其中分布锁和队列有Java和C两个版本，选举只有Java版本。 cdh5.12.0是Cloudera公司发布的最新release版本，与apache版本3.4.5版本对应。 安装配置简单，支持单机、集群模式
zookeeper-3.4.5-cdh5.16.2.tar.gz
01-14
zookeeper-3.4.5-cdh5.16.2.tar.gz 资源包，之前的原网站上无法下载，后经多种途径下载到该资源包，上传到博客上供大家使用。
CDH集群中配置Hive高可用-zookeeper
weixin_44224310的博客
07-04 1798
【回顾】@CDH集群中配置Hive高可用-zookeeper 本文主要讲述在CDH集群中，通过zookeeper实现Hive高可用配置的方法。 1.配置Hive-site.xml文件 登录cm，进入hive服务，在配置中搜索hive-site.xml配置项。增加如下配置 <property> <name>hive.server2.support.dynamic.servic...
linux jdk，hadoop，zookeeper, hive , zeppelin ,sqoop ,hbase,scala,spark，flume,kafka 安装终极脚本全家桶安装
一个学习的博客
11-26 1547
shellz只需要在opt准备两个文件夹，一个install存放压缩包，soft存放解压后的文件就行 接着就开始运行脚本，脚本随便创建一个文件吧脚本拷贝进去，赋权运行就行 里面所有的ip地址改为自己的就行。虚拟机你的hostname一定要设置好，不然脚本里面所有的$hostname，你都要改为你的ip地址就行 #!/bin/bash jdk=true hadoop=true zk=true hive=true zp=true sqoop=true hbase=true ..
Hive安装教程与配置详情，以及Zookeeper安装
zp17834994071的博客
06-16 1588
Hive 1.1.0版本安装教程 hive是一个基于HDFS的MapReduce框架，将HQL转化成MapReduce执行，所以使用hive的前提是已经安装了Hadoop。 1.老套路，首先解压 还是以Cloudera发行版：CDH安装为例。 tar -zxf hive-1.1.0-cdh5.14.2.tar.gz 2.解压完后放到指定文件夹下并简写解压后的文件名称 mv hive-1.1.0-cdh5.14.2 /opt/soft/hive110 3.到conf下修改配置文件 cd /opt/soft/h
zookeeper-3.4.5-cdh5.7.6.tar.gz
08-22
cdh5.7.6系列组件－zookeeper
cloudera manager中添加hive数据库使用mysql的配置步骤
06-20
cloudera manager中添加hive数据库使用mysql的配置的详细步骤
zookeeper下载地址
weixin_33807284的博客
04-17 82
http://mirrors.hust.edu.cn/apache/zookeeper/ 转载于:https://www.cnblogs.com/lxcmyf/p/8863931.html
如何下载Cloudera归档网页上看不到的zookeeper？
csdn_zf的专栏
08-22 620
最近需要安装大数据平台测试环境，于是想用Cloudera的一套组件试试手。因为嫌弃Cloudera Manager安装不过瘾，于是想手动从零开始安装。郁闷的是，到安装zookeeper的时候，在http://archive.cloudera.com/cdh5/cdh/5/页面死活找不到zookeeper的tar.gz。 ... 大约过了十几秒的超长折磨时间，情急之下，灵机一动，照着其他cdh组...
Zookeeper、hive安装、配置、初始化及启动
weixin_42289266的博客
06-09 759
Step1：将zookeeper和hive的压缩包解压 [root@hmm opt]# tar -zxf zookeeper-3.4.5-cdh5.14.2.tar.gz [root@hmm opt]# tar -zxf hive-1.1.0-cdh5.14.2.tar.gz Step2：将解压文件移动至soft文件夹下 [root@hmm opt]# mv zookeeper-3.4.5-cdh5.14.2 soft/zk345 [root@hmm opt]# mv hive-1.1.0-cdh5.1
zookeeper.cdh3.4.5版本
qq_41739298的博客
07-16 884
今天在cdh官网下搜索了zookeeper半天搜索不到，去了csdn又都是付费下载最后发现把要下载的版本直接加载网址后就能下载。 这个是下载zookeeper3.4.5 chd版本 ...
Hive通过 ZooKeeper开启 HA（高可用）
Daphnis的博客
02-17 3365
前言 生产上的大数据平台都会配置多个 HiveServer，在使用 JDBC这种方式连接 hive服务时，如果直接连接某个 HiveServer，当其所在机器异常时，就会导致服务不可用。因此，生产上一般都要求使用 ZooKeeper开启 HA，通过 zk去间接访问 hive服务。 这里以 CDH 5.X为例介绍 Hive如何通过 ZooKeeper开启 HA。 Hive开启 HA（高可用） 修改界面配置 打开 CDH界面，然后在 Hive配置里面搜索 hive-site，如下： 然后添加如下配置项：
CDH配置（Zookeeper，HADOOP，Hive）
haoyuexihuai的专栏
11-30 4953
第一步：ZOOKEEPER（多台机器，时间同步）在/opt下创建chd目录：sudo mkdir cdh-5.3.6 更改所属用户与用户组：sudo chown beifeng:beifeng /opt/* 上传文件到/opt/software目录下：zookeeper-3.4.5-cdh5.3.6.tar，hadoop-2.5.0-cdh5.3.6.tar，hive-0.13.1-cdh5.3.6
cdh版本的zookeeper安装以及配置（伪分布式模式）
weixin_30654419的博客
02-08 483
需要的软件包：zookeeper-3.4.5-cdh5.3.6.tar.gz 1、将软件包上传到Linux系统指定目录下：/opt/softwares/cdh 2、解压到指定的目录：/opt/modules/cdh/ 　　$tar -zxvf /opt/softwares/zookeeper-3.4.5-cdh5.3.6.tar.gz -C/opt/modules/cdh/ ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值