大数据本地环境搭建02-Zookeeper/Hadoop/Hive搭建

已于 2024-02-03 15:32:33 修改
阅读量1.3k 收藏 17
点赞数 18
分类专栏： 大数据集群环境搭建 Hadoop Hive 文章标签： 大数据 hadoop zookeeper hive
于 2024-01-06 22:53:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49620121/article/details/135432792
版权

1. Zookeeper环境安装

链接：https://pan.baidu.com/s/1wzbCiDxP7H5G_llwjSS3Rw?pwd=wgal
提取码：wgal

1.1 上传tar包

zookeeper-3.4.6.tar

注意：上传文件位置为 /export/server目录

1.2 解压缩

cd /export/server
tar xvf /export/server/zookeeper-3.4.6.tar.gz
mv zookeeper-3.4.6 zookeeper

1.3 添加环境变量

echo 'export ZOOKEEPER_HOME=/export/server/zookeeper' >> /etc/profile
echo 'export PATH=$PATH:$ZOOKEEPER_HOME/bin' >> /etc/profile
# 刷新环境变量
source /etc/profile

1.4 创建数据目录

mkdir -p /export/data/zkdata
echo 1 > /export/data/zkdata/myid

# 注意：！！！！！！！！！
# 注意：！！！！！！！！！
# 注意：！！！！！！！！！
# 搭建集群时，还需要在创建完node2虚拟机上执行
echo 2 > /export/data/zkdata/myid
# 搭建集群时，还需要在创建完node3虚拟机上执行
echo 3 > /export/data/zkdata/myid

1.5 修改配置文件

# 将环境变量重命名为zoo.cfg
mv  /export/server/zookeeper/conf/zoo_sample.cfg /export/server/zookeeper/conf/zoo.cfg
# 替换其中的内容
sed -i "s#^dataDir.*#dataDir=/export/data/zkdata#" /export/server/zookeeper/conf/zoo.cfg
# 将host和port信息写入配置文件中
echo 'server.1=192.168.88.161:2888:3888' >> /export/server/zookeeper/conf/zoo.cfg
echo 'server.2=192.168.88.162:2888:3888' >> /export/server/zookeeper/conf/zoo.cfg
echo 'server.3=192.168.88.163:2888:3888' >> /export/server/zookeeper/conf/zoo.cfg

1.6 Zookeeper服务启动停止

# 启动
zkServer.sh start
# 停止
zkServer.sh stop
# 查看状态
zkServer.sh status

## 注意启动时需要三台机器都执行启动服务

1.7 查看运行的java服务

jps

正常启动会有: QuorumPeerMain 服务
在这里插入图片描述

1.8 集群搭建说明

在node1的机器上配置完成后，需要将node1中的zookeeper目录复制到node2和node3的对应目录下，同时需要将基础环境配置步骤在node2和node3上重新执行一遍

可以使用分发脚本进行数据分发，分发脚本编写和使用规则参考另一篇文章

https://blog.csdn.net/m0_49620121/article/details/135432995?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22135432995%22%2C%22source%22%3A%22m0_49620121%22%7D

2. hadoop安装

链接：https://pan.baidu.com/s/1Wd4WIOmDxIyJ-4nfA4mtvA?pwd=4ddz
提取码：4ddz

2.1 上传压缩包

上传目录为: /export/server

2.2 解压缩文件

cd /export/server
tar  zxvf /export/server/hadoop-3.3.0-Centos7-64-with-snappy.tar.gz

2.3 配置环境变量

echo 'export HADOOP_HOME=/export/server/hadoop-3.3.0' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> /etc/profile
# 刷新环境变量
source /etc/profile

2.4 修改配置文件

进入配置文件目录下

cd /export/server/hadoop-3.3.0/etc/hadoop

2.4.1 修改hadoop-env.sh文件

export JAVA_HOME=/export/server/jdk1.8.0_241
#文件最后添加
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

2.4.2 修改core-site.xml文件

<configuration>
    <!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node1:8020</value>
    </property>

    <!-- 设置Hadoop本地保存数据路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/export/data/hadoop-3.3.0</value>
    </property>

    <!-- 设置HDFS web UI用户身份 -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>

    <!-- 整合hive 用户代理设置 -->
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>

    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>
</configuration>

2.4.3 修改hdfs-site.xml文件

<configuration>
    <!-- 设置SNN进程运行机器位置信息 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node2:9868</value>
    </property>
    <!-- 设置副本数量 -->
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>    
</configuration>

2.4.4 修改mapred-site.xml文件

<configuration>
    <!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
    <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>

    <!-- MR程序历史服务器端地址 -->
    <property>
      <name>mapreduce.jobhistory.address</name>
      <value>node1:10020</value>
    </property>

    <!-- 历史服务器web端地址 -->
    <property>
      <name>mapreduce.jobhistory.webapp.address</name>
      <value>node1:19888</value>
    </property>

    <property>
      <name>yarn.app.mapreduce.am.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>

    <property>
      <name>mapreduce.map.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>

    <property>
      <name>mapreduce.reduce.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
</configuration>

2.4.5 修改yarn-site.xml文件配置文件

<configuration>
	<!-- 设置YARN集群主角色运行机器位置,尽量NameNode和ResourceManager和SecondaryNameNode分不同机器 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node1</value>
	</property>

	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>

	<!-- 是否将对容器实施物理内存限制 -->
	<property>
		<name>yarn.nodemanager.pmem-check-enabled</name>
		<value>false</value>
	</property>

	<!-- 是否将对容器实施虚拟内存限制。 -->
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
	</property>

	<!-- 开启日志聚集 -->
	<property>
	  <name>yarn.log-aggregation-enable</name>
	  <value>true</value>
	</property>

	<!-- 设置yarn历史服务器地址 -->
	<property>
		<name>yarn.log.server.url</name>
		<value>http://node1:19888/jobhistory/logs</value>
	</property>

	<!-- 保存的时间7天 -->
	<property>
	  <name>yarn.log-aggregation.retain-seconds</name>
	  <value>604800</value>
	</property>
</configuration>

2.4.6 修改workers文件

192.168.88.161
192.168.88.162
192.168.88.163

2.5 集群搭建说明

需要将node1中的Hadoop文件复制到node2和node3的对应位置

# 使用数据分发脚本分发hadoop-3.3.0目录
xsync /export/server/hadoop-3.3.0
# 使用数据分发脚本分发环境变量文件
xsync /etc/profile

2.6 hadoop集群启动

2.6.1 数据初始化

注意: 初始化操作必须在node1中执行

hdfs namenode -format

2.6.2 服务器启动和关闭

# 整体服务启动/关闭服务
start-all.sh
# 整体服务服务关闭
stop-all.sh
# 启动JobHistoryServer
mapred --daemon historyserver
# 单独启动hdfs
start-dfs.sh
# 单独关闭hdfs
stop-dfs.sh
# 单独启动yarn
start-yarn.sh
# 单独关闭yarn
stop-yarn.sh

# 单独启动hdfs服务的单个组件
hdfs --daemon start namenode/datanode/secondarynamenode
# 单独关闭hdfs服务的单个组件
hdfs --daemon stop namenode/datanode/secondarynamenode
# 单独启动yarn服务的单个组件
yarn --daemon start resourcemanager/nodemanager
# 单独关闭yarn服务的单个组件
yarn --daemon stop resourcemanager/nodemanager

如果想在Windows电脑上使用web登陆9870的HDFS管理界面，需要配置本地映射

位于Windows的C:\Windows\System32\drivers\etc\hosts
192.168.88.161 node1.onepandas.cn  node1
192.168.88.162 node2.onepandas.cn  node2
192.168.88.163 node3.onepandas.cn  node3

hdfs结构管理界面url：http://192.168.88.161:9870/node1:9870
yarn Web UI管理界面：http://192.168.88.161:8088/node1:8088

3.Hive安装

链接：https://pan.baidu.com/s/1E83wjgzrc4AUKrOEUk0xIA?pwd=t8z5
提取码：t8z5

3.1 上传压缩包

上传位置: /export/server

3.2 解压缩

cd /export/server/
tar zxvf /export/server/apache-hive-3.1.2-bin.tar.gz
mv apache-hive-3.1.2-bin/ ./hive3.1.2

3.3 解决Hive与Hadoop之间guava版本差异

rm -rf /export/server/hive3.1.2/lib/guava-19.0.jar
cp /export/server/hadoop-3.3.0/share/hadoop/common/lib/guava-27.0-jre.jar /export/server/hive3.1.2/lib/

3.4 配置hive的环境变量

echo 'export HIVE_HOME=/export/server/hive3.1.2' >> /etc/profile
echo 'export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/sbin' >> /etc/profile
# 刷新环境变量
source /etc/profile

3.5 修改配置文件

3.5.1 修改hive-env.sh

# 切换到配置文件目录
cd /export/server/hive3.1.2/conf
# 拷贝配置文件并重命名
cp hive-env.sh.template ./hive-env.sh
# 将配置信息写入配置文件
echo 'export HADOOP_HOME=/export/server/hadoop-3.3.0' >> /export/server/hive3.1.2/conf/hive-env.sh
echo 'export HIVE_CONF_DIR=/export/server/hive3.1.2/conf' >> /export/server/hive3.1.2/conf/hive-env.sh
echo 'export HIVE_AUX_JARS_PATH=/export/server/hive3.1.2/lib' >> /export/server/hive3.1.2/conf/hive-env.sh

3.5.2 修改hive-site.xml

<configuration>
	<!-- 存储元数据mysql相关配置 -->
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://node1:3306/hive3?createDatabaseIfNotExist=true&amp;useSSL=false</value>
	</property>

	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>

	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
	</property>

	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>123456</value>
	</property>

	<!-- H2S运行绑定host -->
	<property>
		<name>hive.server2.thrift.bind.host</name>
		<value>node1</value>
	</property>

	<!-- 远程模式部署metastore metastore地址 -->
	<property>
		<name>hive.metastore.uris</name>
		<value>thrift://node1:9083</value>
	</property>

	<!-- 关闭元数据存储授权  --> 
	<property>
		<name>hive.metastore.event.db.notification.api.auth</name>
		<value>false</value>
	</property>
</configuration>

3.6 上传mysql 的jdbc驱动

注意：驱动上传到 /export/server/apache-hive-3.1.2-bin/lib/ 目录下

链接：https://pan.baidu.com/s/1w3L9jRO_moT7gmUjAAyhpg?pwd=t0wo
提取码：t0wo

mysql-connector-java-5.1.40.jar

3.7 初始化元数据

schematool -initSchema -dbType mysql -verbos
#初始化成功会在mysql中创建74张表

3.8 在hdfs创建hive存储目录

hadoop fs -mkdir /tmp
hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

3.9 启动hive

# 启动metastore服务
#前台启动  关闭ctrl+c
#前台启动开启debug日志
/export/server/hive3.1.2/bin/hive --service metastore --hiveconf hive.root.logger=DEBUG,console  

#后台启动 进程挂起  关闭使用jps+ kill -9(先使用jps获取runjar的id在kill +9 id号)
nohup /export/server/hive3.1.2/bin/hive --service metastore &

# 启动hiveserver2服务
nohup /export/server/hive/bin/hive --service hiveserver2 &
 #注意 启动hiveserver2需要一定的时间  不要启动之后立即beeline连接 可能连接不上
 先用lsof -i:10000 查看hiveserver2有没有启动
 启动beeline
 输入：!connect jdbc:hive2://node1:10000

到此 Zookeeper/Hadoop/Hive 基础环境搭建完毕
有问题欢迎指出！！！

OnePandas
关注
专栏目录
hadoop系列：zookeeper（1）——zookeeper单点和集群安装
08-08 321
1、概述 8月份的第一周，忙得晕头转向，为了解决OSGI-Felix 下 hibernate JPA的ClassLoade...
大数据学习----- Hadoop、Spark、HBase、Hive搭建环境遇到的错误以及解决方法
h471507602的博客
12-17 952
前言 在搭建大数据Hadoop相关的环境时候，遇到很多了很多错误。我是个喜欢做笔记的人，这些错误基本都记载，并且将解决办法也写上了。因此写成博客，希望能够帮助那些搭建大数据环境的人解决问题。 说明: 遇到的问题以及相应的解决办法是对于个人当时的环境，具体因人而异。如果碰到同样的问题，本博客的方法无法解决您的问题，请先检查环境配置问题。 Hadoop伪分布式相关的问题 1，FATAL con...
hadoop秘籍-zookeeper的配置
weixin_47316344的博客
06-28 260
配置全局环境变量: vi /etc/profile export ZK_HOME=/opt/zookeeper-3.4.6 export PATH=$PATH:$ZK_HOME/bin 输入: source /etc/profile,使其生效 输入: cd /opt/zookeeper-3.4.6/conf/进入配置文件的目录 mv zoo_sample.cfg zoo.cfg vi zoo.cfg tickTime=2000 maxClientCnxns=0 # The number of ticks
【zookeeper安装】zookeeper安装详细教程（单机/集群部署）（linux版）
最新发布
QDNBD的博客
09-18 1873
本文章主要介绍在Centos系统，虚拟机上安装zookeeper用来单机部署或集群部署，可为大数据组件或ambari管理中使用。教程安装的是Zookeeper3.4.6版本，安装其他版本的也可以参考该文档。
Hadoop-zookeeper环境配置
xiangminghan的博客
06-19 2105
安装包下载 链接：https://pan.baidu.com/s/10L21P0HvQBlTGVUdk86Nlw 提取码：xkkx 复制这段内容后打开百度网盘手机App，操作更方便哦 主机IP映射 [root@bigdata101 module]# vi /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.local
hadoop_on_yarn+zookeeper+hive手把手一条龙教你搭建！！！
Lpf的博客
04-23 3460
首先准备好zookeeper，jdk，hadoop，hive的安装包 1.时间同步yum install ntp 启动NTP时间服务器：service ntpd start 设置NTP开机自动启动：chkconfig ntpd on 查看NTP是否正常运行：chkconfig | grep ntp 2、2.node1,2,3,4做免密钥登录 ssh-keygen -t dsa -P ...
hadoop关于Zookeeper的安装及配置
qq_43012693的博客
09-05 422
作用 Zookeeper是用来管理集群的，加强集群的稳定性、持续性、有序性，提高集群的工作效率。 安装 这里我是用三台虚拟机搭建的集群。 1、上传zookeeper安装包到虚拟机上，进行解压： 我这里解压到了opt目录下： 为了方便调用，这里先改下名，然后修改环境变量。 2、环境变量及文件配置 环境变量： vi /etc/profile export ZK_HOME=/opt/zkper export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOM
zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx
06-01
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
大数据全套安装包：包括hadoop-3.1.1、hbase-2.2.3、hive-3.1.2、zookeeper-3.5.6
10-07
这个压缩包提供了一整套的大数据处理环境，包括Hadoop 3.1.1、HBase 2.2.3、Hive 3.1.2和ZooKeeper 3.5.6，这些都是大数据生态系统中的核心组件。 首先，Hadoop是Apache软件基金会开发的一个开源框架，主要用来处理...
大数据综合实验环境搭建（3个集群、Zookeeper、Hive、HBase）
01-25
大数据综合实验环境搭建（3个集群、Zookeeper、Hive、HBase） 本资源摘要信息主要对大数据综合实验环境搭建进行了详细的介绍，涵盖了 JDK 的安装和配置、免密码登录的设置、Zookeeper 的安装、Hive 和 HBase 的安装...
大数据学前准备--zookeeper详解与集群搭建（保姆级教程）
wudidahuanggua的博客
09-13 4516
深度解析zookeeper理论知识以及手把手教你搭建起集群，保姆级的教程。点赞收藏一点也不亏吖！
hadoop、spark、zookeeper配置大全，绝对可用
10-19
略有些简陋，但绝对可用。hadoop、spark、zookeeper配置大全，绝对可用。
hadoop生态之zookeeper安装配置（一）
05-24 274
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 Zookeeper架构图： ...
Zookeeper-Hadoop HA (高可用) 安装配置及下载地址
软件手的博客
01-02 504
使用安装包版本： hadoop-2.6.0.tar.gz 下载地址 https://www.apache.org/dyn/closer.cgi/hadoop/common jdk-8u221-linux-x64.tar.gz 下载地址 https://www.java.com/en/download/manual.jsp zookeeper-3.4.5.tar.gz 下载地址https://www...
Zookeeper、hive安装、配置、初始化及启动
weixin_42289266的博客
06-09 767
Step1：将zookeeper和hive的压缩包解压 [root@hmm opt]# tar -zxf zookeeper-3.4.5-cdh5.14.2.tar.gz [root@hmm opt]# tar -zxf hive-1.1.0-cdh5.14.2.tar.gz Step2：将解压文件移动至soft文件夹下 [root@hmm opt]# mv zookeeper-3.4.5-cdh5.14.2 soft/zk345 [root@hmm opt]# mv hive-1.1.0-cdh5.1
最细教学！！ 分布式文件系统：Hadoop之Zookeeper的安装与配置
weixin_49104143的博客
07-17 1655
分布式文件系统：Hadoop之Zookeeper的安装与配置 “echo $PATH”查看新添加和修改的环境变量是否设置成功，以及环境变量的值是否正确。将Zookeeper目录和.bash_profile文件发送给集群中所有主机然后每台执行source ~/.bash_profile使环境变量生效。进入Zookeeper相关文件的目录，分别创建用于存放数据文件的目录data和存放日志文件的logs目录。使新的配置的环境变量立即生效。配置Zookeeper相关的环境变量。关闭所有主机的防火墙。
最最最详细的Hadoop+HBase+Zookeeper+Hive完全分布式环境搭建教程
qq_38497133的博客
06-29 3826
文章目录一、准备工作二、hadoop搭建1.配置主机名和主机列表2.配置免密登录3.配置环境变量4.配置hadoop配置文件三、HBase配置1.配置hbase-site.xml文件2.配置hbase-env.sh文件3.配置log4j.properties文件4.配置regionservers四、集群搭建1.修改hdfs-site.xml文件2.修改slaves文件3.复制到另外两台机器上五、Zookeeper搭建1.配置zoo.cfg文件2.创建myid文件并启动zookeeper3.启动hbase4.
Centos中Hadoop多节点集群配置 &amp； Zookeeper安装_centos8启动hadoop集群用不用启动zookeeper
qq_58071132的博客
04-17 709
有一台从机没有启动成功原因：hostname与slaves文件下的xx03不对应，解决方法查看。
记录配置Hadoop+zookeeper+Hbase的完整过程（六）
zfy_rookie的博客
05-07 913
配置zookeeper和hbase
零基础搭建hadoop-zookeeper-hbase-hive集群全攻略
- 配置`hive-site.xml`，指定Hadoop相关路径 - 创建metastore数据库 - 初始化Hive元数据 - 启动Hive服务，通过Hive Shell或Beeline进行查询 ### 五、集群测试与常见问题 在完成所有组件的安装和配置后，应进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

OnePandas

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值