zookeeper + hadoop + hbase + phoenix

已于 2023-04-30 21:59:50 修改
阅读量1.3k 收藏 3
点赞数 1
文章标签： hadoop java-zookeeper zookeeper hbase
于 2023-04-29 00:25:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43567719/article/details/130436527
版权
本文详细介绍了如何在三台虚拟机上搭建分布式集群，包括安装JDK、Zookeeper、Hadoop、HBase和Phoenix，以及配置相关环境变量和集群参数，确保服务的正常启动和交互。
摘要由CSDN通过智能技术生成

一、首先创建三台空的虚拟机，在此基础上搭建分布式集群

IPhostname
192.168.23.130hadoop01
192.168.23.131hadoop02
192.168.23.132hadoop03

二、准备安装包版本

  • jdk-1.8
  • zookeeper-3.8.1
  • hadoop-3.2.4
  • hbase-2.4.15
  • phoenix-2.4.0-5.1.3

三、服务器环境准备（三个节点都要进行）

1、关闭防火墙

# 临时关闭防火墙
systemctl stop firewalld
# 永久关闭防火墙
systemctl disable firewalld

2、设置主机名

# 三个节点名称分别是hadoop01、hadoop02、hadoop03
hostnamectl set-hostname hadoop01

3、配置主机hosts

vim /etc/hosts

# 添加如下内容
192.168.23.130 hadoop01
192.168.23.131 hadoop02
192.168.23.132 hadoop03

4、设置ssh免密登录

# 所有节点都需要执行，连续按三次回车，在.ssh目录下生成id_rsa和id_rsa.pub
ssh-keygen

# 分发密钥，所有节点都需要执行三次，仅需要修改机器名称
ssh-copy-id hadoop01

四、安装JDK

# 解压tar包
tar -zxvf jdk-8u291-linux-x64.tar.gz

# 移动解压后得包到/opt/java目录下
mv jdk1.8.0_291 /opt/java

分发JDK安装包到其他节点

cd /opt

# 分发java包到其他节点
scp -r java hadoop02:$PWD

配置JDK环境变量（所有节点都需要执行）

# 在 /etc/profile 文件末尾加上JDK环境变量
vim /etc/profile

# 内容如下
export JAVA_HOME=/opt/java
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.har:$JAVA_HOME/lib/tools.jar
export JRE_HOME=$JAVA_HOME/jre

# 加载环境变量使其生效
source /etc/profile

# 测试环境变量是否生效
java -version

五、安装zookeeper

# 解压zookeeper包
tar -zxvf apache-zookeeper-3.8.1-bin.tar.gz

# 移动解压后得包到/opt/zookeeper目录下
mv apache-zookeeper-3.8.1-bin /opt/zookeeper

修改zookeeper配置

# 进入zookeeper包
cd /opt/zookeeper

# 复制zoo_sample.cfg模板配置文件
cp zoo_sample.cfg zoo.cfg

# 修改配置文件
vim zoo.cfg

# 修改内容如下
dataDir=/opt/zookeeper/data

添加zookeeper集群信息，在zoo.cfg末尾添加对应集群节点信息

server.1=hadoop01:2555:3555
server.2=hadoop02:2555:3555
server.3=hadoop03:2555:3555

添加zookeeper数据目录并创建节点ID对应集群节点信息

# 创建data目录
mkdir /opt/zookeeper/data

# 在/opt/zookeeper/data创建myid文件
cd /opt/zookeeper/data

# 修改节点ID
vim myid

# 内容如下（三个节点得内容分别是1，2，3）
1

分发zookeeper文件到其他节点。

cd /opt
scp -r zookeeper hadoop02:$PWD

注意：文件分发完后需要到每个节点将myid中得内容改成对应节点得ID，一定不能漏改和改错，否则zookeeper启动将会失败

启动zookeeper（所有节点均需执行）

# 进入zookeeper的bin目录
cd /opt/zookeeper/bin

# 启动zookeeper
./zkServer.sh start

# 查看zookeeper状态
./zkServer.sh status

使用JPS查看zookeeper进行，zookeeper的进程名称为QuorumPeerMain

六、安装hadoop

部署hadoop集群，NameNode和SecondaryNameNode不要安装在一台机器上面。ResourceManager也很消耗内存，所以不要和NameNode和SecondaryNameNode配置到同一台机器上面。

按照如下表格进行配置（后面通过JPS检查集群是就根据这个表格来进行检查）

hadoop01hadoop02hadoop03
HDFSNameNode
DataNode		DataNodeSecondaryNameNode
DataNode
YARNNodeManagerResourceManager
NodeManager		NodeManager
# 解压hadoop包
tar -zxvf hadoop-3.2.4.tar.gz

# 移动解压后得包到/opt/hadoop目录下
mv hadoop-3.2.4 /opt/hadoop

（1）修改hadoop-env.sh配置

# 进入hadoop配置目录
cd /opt/hadoop/etc/hadoop

# 修改hadoop-env.sh
vim hadoop-env.sh

# 修改内容如下
export JAVA_HOME=/opt/java
export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

# 加载配置
source hadoop-env.sh

（2）修改core-site.xml配置

vim core-site.xml

将core-site.xml中的配置文件修改成如下内容

<configuration>
	<!-- 指定namenode的地址 -->
	<property>
	  <name>fs.defaultFS</name>
	  <value>hdfs://hadoop01:8020</value>
	</property>
	<!-- 指定hadoop数据的存储目录  -->
	<property>
	   <name>hadoop.tmp.dir</name>
	   <value>/opt/hadoop/tmp</value>
	</property>
	<!-- 配置 HDFS 网页登录使用的静态用户为 root -->
	<property>
	   <name>hadoop.http.staticuser.user</name>
	   <value>root</value>
	</property>
</configuration>

（3）修改hdfs-site.xml配置

vim hdfs-site.xml

将hdfs-site.xml中的配置文件修改成如下内容

<configuration>
	<!-- nn web 端访问地址-->
	<property>
	   <name>dfs.namenode.http-address</name>
	   <value>hadoop01:9870</value>
	</property>
	<!-- 2nn web 端访问地址-->
	<property>
	   <name>dfs.namenode.secondary.http-address</name>
	   <value>hadoop03:9868</value>
	</property>
</configuration>

（4）修改mapred-site.xml配置

vim mapred-site.xml

将mapred-site.xml中的配置文件修改成如下内容

<configuration>
	<!-- mapreduce的工作模式:yarn -->
　　<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
　　</property>
</configuration>

（5）修改yarn-site.xml配置

vim yarn-site.xml

将yarn-site.xml中的配置文件修改成如下内容

<configuration>
	<!-- 指定 MR 走 shuffle -->
	<property>
	   <name>yarn.nodemanager.aux-services</name>
	   <value>mapreduce_shuffle</value>
	</property>
	<!-- 指定 ResourceManager 的地址-->
	<property>
	   <name>yarn.resourcemanager.hostname</name>
	   <value>hadoop02</value>
	</property>
	<!-- 环境变量的继承 -->
	<property>
	   <name>yarn.nodemanager.env-whitelist</name>
	   <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
	</property>
	<!-- 开启日志聚集功能 -->
	<property>
	   <name>yarn.log-aggregation-enable</name>
	   <value>true</value>
	</property>
	<!-- 设置日志聚集服务器地址 -->
	<property>
	   <name>yarn.log.server.url</name>
	   <value>http://hadoop01:19888/jobhistory/logs</value>
	</property>
	<!-- 设置日志保留时间为 7 天 -->
	<property>
	   <name>yarn.log-aggregation.retain-seconds</name>
	   <value>604800</value>
	</property>
</configuration>

（6）编辑workers

vim workers

# 修改成如下内容
hadoop01
hadoop02
hadoop03

分发配置后的hadoop包到其他节点

cd /opt

# 分发安装包
scp -r hadoop hadoop02:$PWD

配置hadoop环境变量（所有节点均需执行）

# 在 /etc/profile 文件末尾加上hadoop环境变量
vim /etc/profile

# 内容如下
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

# 加载环境变量使其生效
source /etc/profile

# 测试环境变量是否生效
hadoop version

启动hadoop集群

# 在hadoop01初始化hadoop集群
hdfs namenode -format

# 在hadoop01节点启动HDFS
start-dfs.sh

# 在hadoop02节点启动YARN
start-yarn.sh

验证hadoop集群是否配置成功

  1. web页面访问
    查看HDFS的namenode：http://192.168.23.130:9870
    查看 YARN 的 ResourceManager：http://192.168.23.131:8088

  2. JPS查看
    使用JPS查看各个节点的进程状态是否跟前面规划的表格中的进程名称一致

七、安装HBase

# 解压hbase包
tar -zxvf hbase-2.4.15-bin.tar.gz

# 移动解压后得包到/opt/hbase目录下
mv hbase-2.4.15-bin /opt/hbase

（1）修改hbase-env.sh配置

cd /opt/hbase/conf

# 修改hbase-env.sh
vim hbase-env.sh

# 修改内容如下
export JAVA_HOME=/opt/java
export HBASE_MANAGES_ZK=false

（2）修改hbase-site.xml配置

vim hbase-site.xml

将hbase-site.xml中的配置文件修改成如下内容

<configuration>
	<!--  V2.1版本，在分布式情况下, 设置为false -->
	<property>
	  <name>hbase.unsafe.stream.capability.enforce</name>
	  <value>false</value>
	</property>
	<!-- 这个目录是 RegionServer 的共享目录，用来持久化 HBase。特别注意的是 hbase.rootdir 里面的 HDFS 地址是要跟 Hadoop 的 core-site.xml 里面的 fs.defaultFS 的 HDFS 的 IP 地址或者域名、端口必须一致 -->
	<property>
	  <name>hbase.rootdir</name>
	  <value>hdfs://hadoop01:8020/hbase</value>
	</property>
	<!-- Hbase的运行模式。false是单机模式，true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面 -->
	<property>
	  <name>hbase.cluster.distributed</name>
	  <value>true</value>
	</property>
	<!-- 指定master端口，默认也是16000 -->
	<property>
	  <name>hbase.master.port</name>
	  <value>16000</value>
	</property>
	<!-- 本地文件系统的临时文件夹。可以修改到一个更为持久的目录上。(/tmp会在重启时清除) -->
	<property>
	  <name>hbase.tmp.dir</name>
	  <value>/opt/hbase/tmp</value>
	</property>
	<!-- 列出全部的 ZooKeeper 的主机，用逗号隔开 -->
	<property>
	  <name>hbase.zookeeper.quorum</name>
	  <value>hadoop01,hadoop02,hadoop03</value>
	</property>
	<!-- ZooKeeper 快照的存储位置，默认值为 /tmp -->
	<property>
	  <name>hbase.zookeeper.property.dataDir</name>
	  <value>/opt/zookeeper/zkData</value>
	</property>
</configuration>

（3）配置regionservers

vim regionservers

# 内容如下
hadoop01
hadoop02
hadoop03

复制jar包到lib

cp /opt/hbase/lib/client-facing-thirdparty/htrace-core4-4.2.0-incubating.jar /opt/hbase/lib/

分发配置后的hbase包到其他节点

cd /opt

# 分发安装包
scp -r hbase hadoop02:$PWD

配置HBase环境变量（所有节点均需执行）

# 在 /etc/profile 文件末尾加上hbase环境变量
vim /etc/profile

# 内容如下
export HBASE_HOME=/opt/hbase
export PATH=$PATH:${HBASE_HOME}/bin:${HBASE_HOME}/sbin

# 加载环境变量使其生效
source /etc/profile

# 测试环境变量是否生效
hbase version

启动HBase

start-hbase.sh

验证HBase集群是否配置成功

  1. web页面访问
    http://192.168.23.131:16010

  2. JPS查看
    使用JPS查看hadoop01是否存在HMaster、HRegionServer进程名称
    查看其他节点是否存在HRegionServer进程名称

八、安装phoenix

# 解压phoenix包
tar -zxvf phoenix-hbase-2.4.0-5.1.3-bin.tar.gz

# 移动解压后得包到/opt/phoenix目录下
mv phoenix-hbase-2.4.0-5.1.3-bin /opt/phoenix

拷贝jar包到 /opt/hbase/lib目录

cp /opt/phoenix/phoenix-server-hbase-2.4.0-5.1.3.jar /opt/hbase/lib/

将jar分发到其他节点

scp /opt/phoenix/phoenix-server-hbase-2.4.0-5.1.3.jar hadoop02:/opt/hbase/lib/

修改hbase-site.xml配置（在原配置文件中的configuration中添加配置，不要覆盖之前的配置）

cd /opt/hbase/conf

vim hbase-site.xml

添加的内容如下

<!-- 支持HBase命名空间映射 -->
<property>
  <name>phoenix.schema.isNamespaceMappingEnabled</name>
  <value>true</value>
</property>
<property>
  <name>phoenix.schema.mapSystemTablesToNamespace</name>
  <value>true</value>
</property>
<!-- 支持索引预写日志编码 -->
<property>
  <name>hbase.regionserver.wal.codec</name>
  <value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value>
</property>

拷贝hbase-site.xml到phoenix中

cp /opt/hbase/conf/hbase-site.xml /opt/phoenix/bin/

将hbase-site.xml分发到其他节点

cd /opt/hbase/conf

scp hbase-site.xml haoop02:$PWD

重启HBase

# 关闭hbase
stop-hbase.sh

# 启动hbase
start-hbase.sh

验证phoenix是否安装成功

cd /opt/phoenix/bin

# 启动phoenix客户端（首次启动加载时间会比较长，加载过程中不要强制退出）
./sqlline.py hadoop01:2181

成功进入phoenix客户端后可以查看phoenix中的所有表

# 查看所有表
!table
雨田贝戋
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
centos7环境搭建hadoop+hbase+zookeeper+phoenix+thritf
keeper的博客
04-17 1106
一．环境说明 系统：CentOS Linux release 7.6.1810 (Core) IP：10.255.175.84 Jdk：1.8.0_25 Hadoop：2.7.5 Hbase：1.2.6 Zookeeper: zookeeper-3.4.10 Phoenix: phoenix-4.14.1-HBase-1.2-bin Thrift: thrift-0.11.0 二...
大数据学习--kafka+flume++sqoop+hadoop+zookeeper+spark+flink
ssdsadsa的博客
02-15 465
Flume对数据写入HDFS更专业并且有数据的预处理与分类实时数据写入的该控制，但是它对单个管道的数据并不友好，如果管道出现了问题那么这条链路的数据必须停下。现阶段技术上的应用主要是spark对于mapreduce 的技术升级，线程+数据放入内存+数据共享来优化数据需要在原生hadoop上多次mapreduce计算的磁盘 多次IO，根据业务逻辑的是否复杂是否需要机器学习等多方面考虑是否需要 haddop+spark联合使用。不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。
hadoop2.7.1+zk3.5+hbase2.1+phoenix 安装部署环境打包
07-01
因为配置大数据的基础环境特别费事，因此这里搭建好了一份基础环境
HBase 系列（十）—— HBase的SQL中间层 Phoenix
黑白影的博客
06-07 694
一、Phoenix简介 Phoenix是HBase的开源SQL中间层，它允许你使用标准JDBC的方式来操作HBase上的数据。在Phoenix之前，如果你要访问HBase，只能调用它的Java API，但相比于使用一行SQL就能实现数据查询，HBase的API还是过于复杂。Phoenix的理念是we put sql SQL back in NOSQL，即你可以使用标准的SQL就能完成对HBase上...
【服务器hbase伪分布式搭建】centos+hadoop+zookeeper+hbase
qq_44612243的博客
08-21 448
hadoop+hbase+zookeeper服务器 伪分布式大数据环境搭建
CentOS7搭建Hadoop 2.X和Hbase2.x伪分布式环境
淮城一只猫
04-06 551
1.安装JDK 安装wget命令： yum install wget -y JDK下载官网 这里下载选择JDK11长期支持版本 下载过程省略 解压到 /opt/java下 配置环境变量 打开配置文件： vim /etc/profile 在末尾添加以下内容： # jdk-11.0.6配置 export JAVA_HOME=/opt/java/jdk-11.0.6 export PATH=$P...
hadoop+hbase+zookeeper+phoenix安装
无聊的程序生涯
07-07 6648
有需要的可以邮件提供文档。 Hadoop-hbase大数据环境安装 Hadoop-2.7.1 zookeeper-3.4.6 hbase-1.1.2 phoenix-4.5.1 徐万年 2015-10-15 目录 一、 集群环境总述 3 1.1、操作系统 3 1.2、主机分配及安装内容 3 二、 安装前准备 4 2.1、Hadoop用户 4 2.2、主机网络设置 4
spark环境安装(Hadoop HA+Hbase+phoneix+kafka+flume+zookeeper+spark+scala)
12-06
本项目旨在搭建一套完整的Spark集群环境，包括Hadoop HA（高可用）、HBase、Phoenix、Kafka、Flume、Zookeeper以及Scala等多个组件的集成。这样的环境适用于大规模的数据处理与分析任务，能够有效地支持实时数据流...
Hadoop Zookeeper HBase集群
04-02
标题 "Hadoop Zookeeper HBase集群" 涉及到的是大数据处理领域中的三个关键组件：Hadoop、Zookeeper和HBase。这三个组件在构建分布式系统中起着至关重要的作用。 首先，Hadoop是Apache软件基金会开发的一个开源框架...
四（2）、CentOs-7 Hadoop 伪分布式 安装配置 hbase
weixin_44651989的博客
06-20 291
先准备好一台搭建了伪集群和zookeeper的虚拟机 我这里Hadoop用的是2.7.3、zookeeper是3.4.9 下载 tar -zxvf hbase-1.3.5-bin.tar.gz 拖进soft文件夹，进入此路径解压 修改配置问件时也可以去官网找找 修改i. hbase-env.sh文件 echo $JAVA_HOME 获取jdk路径 cd /usr/soft/hbase-...
Linux hadoop zookeeper hbase phoenix集群部署
SunRise_Rookie的博客
02-14 653
hadoop zookeeper hbase phoenix集群部署1.1. 部署前准备1.1.1. 版本1.1.2. 添加节点映射1.1.3. 添加免密登录1.2. zookeeper集群部署1.2.1. 编辑环境变量1.2.2. zookeeper配置：1.2.3. 创建myid文件1.3. hadoop集群部署1.4. hbase集群部署编辑regionservers文件1.5. phoenix安装 1.1. 部署前准备 1.1.1. 版本 创建一个hadoop用户 上传hadoop zookeepe
Hadoop基础之《（11）—整合HBase+Phoenix+Hive—安装Hive》
csj50的专栏
02-08 1315
Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。（1）在Hadoop中我们用MapReduce程序实现的，需要些Mapper、Reducer和Driver三个类，并实现对应逻辑，相对繁琐。（2）Hive分析数据底层的实现是MapReduce（也可配置为Spack或者Tez）。（2）如果通过Hive SQL实现，一行就搞定了，简单方便，容易理解。（1）Hive中每张表的数据存储在HDFS。（8）如果是查询语句，返回计算结果。
Hadoop、Hbase、Phoenix 完全分布式环境搭建（一）环境准备
GitChat
09-18 347
本场 Chat 分享主要介绍Hadoop、Hbase、Phoenix 完全分布式的环境准备，如有问题，欢迎指出。 本场 Chat 内容将涉及如下： 服务版本说明； 服务器版本说明； host配置； yum配置； 免密登录； zsh配置； ntp配置。 ...
在虚拟机或Docker中搭建大数据伪分布式集群（二）：集群添加zookeeper与HBase/Phoenix
tangguoxing000的博客
11-22 692
在Docker中搭建Hadoop伪分布式集群二：添加zookeeper与HBase 目录 在Docker中搭建Hadoop伪分布式集群二：添加zookeeper与HBase 一、zookeeper 安装配置 1、安装 2、修改配置 3、启动 4、 验证 二、启动Hadoop 三、HBase 1、安装 2、配置 3、启动 4、验证 一、zookeeper 安装配置 1、安装 下载并解压，我这边是直接从本机复制到Docker机器中 # 格式为：docker cp 本地文件的路
phoenix
wjandy0211的博客
11-09 910
phoenix put the SQL into noSql   phoenix是hbase之上的sql查询层。 Phoenix JDBC URL syntax?   Thick Driver     jdbc:phoenix:[comma-separated ZooKeeper Quorum [:port [:hbase root znode [:kerb
Hadoop基础之《（9）—整合HBase+Phoenix+Hive—安装HBase》
csj50的专栏
02-03 1128
数据行具有可排序的键和任意数量的列。该表存储稀疏，因此如果用户喜欢，同一表中的行可以具有疯狂变化的列。（4）最终理解HBase数据模型的关键在于稀疏、分布式、多维、排序的映射。Apache HBase是以HDFS为数据存储的，一种分布式、可扩展的NoSQL数据库（非关系型，以k,v的形式存储数据）。Bigtable是一个稀疏的、分布式的、持久的多维排序map（代码里的hashmap是单维的，并且一定是有序的）。映射中的每个值都是一个未解释的字节数组。HBase可以认为是以HDFS为存储的数据库。
HBase 2.x ---- 整合 Phoenix
是微风，是晚霞，是无可替代
11-07 241
Phoenix 是 HBase 的开源 SQL 皮肤。可以使用标准 JDBC API 代替 Base 客户端 API 来创建表，插入数据和查询 HBase 数据。
【HBase】整合Phoenix
最新发布
qq_70770395的博客
05-12 798
HBase 6 整合Phoenix
Hadoop-Hbase大数据集群安装教程
"这篇文档详细介绍了如何在Linux环境下搭建Hadoop-HBase大数据处理环境，并涵盖了相关的组件如Zookeeper和Phoenix的安装与配置。整个过程包括了系统准备、各个组件的下载、配置、安装以及启动，同时也提及了一些常见...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值