伪分布式Hadoop+Hbase+Phoenix

已于 2023-10-11 14:48:37 修改
阅读量151 收藏
点赞数
文章标签： hbase 分布式 hadoop
于 2023-06-09 21:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weiwei928822294/article/details/131095495
版权

一、OS环境准备

1.主机名

# vim /etc/hosts
10.10.100.240   phoenix

2.ssh登录互信认证

# ssh-keygen -t rsa                    一路回车
# cd /root/.ssh/
# cat id_rsa.pub >>authorized_keys     配置本机互信

# ssh-copy-id  其他节点的hostname        与其他设备互信命令（多节点时使用）

3.关闭防火墙

# systemctl stop {iptables,firewalld}
# systemctl disable {iptables,firewalld}

4.关闭selinux

永久关闭：

# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

临时关闭：

# setenforce 0
# getenforce        查看selinux状态

二、配置JAVA环境

1. 下载jdk包：https://www.oracle.com/java/technologies/downloads/

可以通过Java archive查找jdk8版本使用，较为经典稳定

2.配置java环境，解压jdk安装包到 /usr/local 目录下，配置环境变量

# tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/
# vim /etc/profile
在文件尾部添加如下内容
#/usr/local/jdk1.8.0_221/
export JAVA_HOME=/usr/local/jdk1.8.0_221/
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
# source /etc/profile

3.查看java环境是否配置成功

三、配置伪分布式Hadoop环境

1.下载包：http://archive.apache.org/dist/hadoop/core/hadoop-3.2.3/

2.解压hadoop安装包到 /home 目录下

# tar -zxvf hadoop-3.2.3.tar.gz -C /home/

3.创建hadoop用户，指定家目录为/home/hadoop-3.2.3/

# useradd -u hadoop -d /home/hadoop-3.2.3/
# chown -R hadoop.hadoop /home/hadoop-3.2.3/
# chmod -R 755 /home/hadoop-3.2.3/

 4.修改 hadoop 配置文件，配置hadoop需要使用的java环境

# vim /home/hadoop-3.2.3/etc/hadoop/hadoop-env.sh
大概55行配置：
export JAVA_HOME=/usr/local/jdk1.8.0_221/
# vi /home/hadoop-3.2.3/etc/hadoop/hdfs-site.xml
<configuration>

<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop-3.2.3/data/dfs/name</value>
</property>

<property>
<name>dfs.datanode.name.dir</name>
<value>file:/home/hadoop-3.2.3/data/dfs/data</value>
</property>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.permissions</name>
<value>1</value>
</property>

</configuration>
# vim /home/hadoop-3.2.3/etc/hadoop/core-site.xml

<configuration>

<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop-3.2.3/data/tmp</value>
</property>

<property>
<name>fs.defaultFS</name>
<value>hdfs://phoenix:9000</value>
</property>

<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>

<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>

</configuration>
# vim /home/hadoop-3.2.3/etc/hadoop/slaves
写入
phoenix

5.修改 hadoop 环境变量

# vim /etc/profile
export HADOOP_HOME=/home/hadoop-3.2.3
export PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH
# source /etc/profile

6.格式化并启动 hadoop

格式化命令只能 1 次，多次执行就会造成 namenode 与 datanode 的 ID 值不一致，namenode 无法启动

# hdfs namenode -format        或者
# hadoop namenode -format
使用hadoop用户启动
# su - hadoop
如果su进来bash变成如下（说明hadoop用户没有环境变量文件）：
-bash-4.2$
解决：
# cp /etc/skel/.bash* /home/hadoop-3.2.3/
重新进入hadoop用户
#su - hadoop
$ start-all.sh

$ jps -ml

7.登录页面查看hdfs

http://10.10.100.240:9870/dfshealth.html#tab-overview

注：

Hadoop2.x的namenode界面访问端口默认是：50070

Hadoop3.x的namenode界面访问端口默认是：9870

可以通过hdfs-site.xml修改

# vim /home/hadoop-3.2.3/etc/hadoop/hdfs-site.xml
<property>
<name>dfs.namenode.http-address</name>
<value>0.0.0.0:50070</value>
</property>

7.登录页面查看hadoop集群

http://10.10.100.240:8088/cluster

四、Hbase部署在伪分布式Hadoop上

注：网上大量的资料说明部署Hbase单机版本不需要使用hadoop组件

1.下载hbase二进制包：https://archive.apache.org/dist/hbase/ ，或者使用wget命令下载：

推荐使用hbase-2.2.4版本

2.解压hbase二进制包到 /home 目录下，配置权限

# tar -zxvf hbase-2.2.4-bin.tar.gz -C /home/
# chown -R hadoop.hadoop /home/hbase-2.2.4/
# chmod -R 755 /home/hbase-2.2.4/

3.设置hbase配置文件，设置hbase运行的java环境

# vim /home/hbase-2.2.4/conf/hbase-env.sh
大概在68行配置
export JAVA_HOME=/usr/local/jdk1.8.0_221/

注：127行的默认配置(# export HBASE_MANAGES_ZK=true)含义为：hbase启动使用自建zookeeper，如果不使用hbase自建的zookeeper，需要额外下载zookeepr包部署。

# vim /home/hbase-2.2.4/conf/hbase-site.xml
添加以下内容
<configuration>

<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hbase-2.2.4/zookeeper</value>
</property>

<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>

<property>
<name>hbase.rootdir</name>
<value>hdfs://phonenix:9000/hbase</value>
</property>

<!--
<property>
<name>dfs.replication</name>
<value>true</value>
</property>
-->

<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>false</value>
</property>

</configuration>

默认情况下 <configuration></configuration> 节点里面是空的，需要添加 hbase 和 ZooKeeper 数据写入的目录：

提示：这两个目录地址可以根据需求自由设置。另外，这两个文件夹无需事先创建，HBase 会自动创建好。也可以自己创建好

注意ZooKeeper数据文件路径要写，百度上很多教程没写，自带zookeeper没启动,报各种错

# vi /home/hbase-2.2.4/conf/regionservers
写入
phoenix

 4.配置hbase环境变量，启动hbase

# vim /etc/profile
export HBASE_HOME=/home/hbase-2.2.4
export PATH=$HBASE_HOME/bin:$PATH
# source /etc/profile
使用hadoop用户启动
# su - hadoop
$ start-hbase.sh

$ jps -ml

注：一定要使用hadoop用户启动，否则可能会出现 HMaster 或者 HRegionServer 连接不上zookeeper，导致报错HMaster exiting；

如果zookeeper连接不上，建议清空zookeeper配置尝试重新启动 Hbase；

# rm -rf /home/hbase-2.2.4/zookeeper/*

5.登录hbase管理页面

http://10.10.100.240:16010/master-status

注：生产环境最好在防火墙上把2181,16000,16010,16020端口都开放，否则访问ui界面和java api调用不通报各种错

 附：

 1，启动命令行工具

执行如下命令启动 HBase 的 shell 命令行工具：

# hbase shell

  2，创建、查看表

（1）使用 create 命令创建一个新表（这里表名称为 test，列簇名为 cf）

> create 'test', 'cf'

（2）使用 list 命令可以列出所有的表：

> list

（3）使用 describe 命令查看详细信息，包括配置默认值：

> describe 'test'

 3，插入、查询数据

（1）要将数据放入表中，可以使用 put 命令，比如下面命令连续插入 3 条数据：

> put 'test', 'row1', 'cf:a', 'value1'
> put 'test', 'row2', 'cf:b', 'value2'
> put 'test', 'row3', 'cf:c', 'value3'

（2）使用 scan 命令可以查看表中的所有数据：

> scan 'test'

 （3）使用 get 命令则可以获取单行的数据：

> get 'test', 'row1'

 4，禁用、删除表

（1）如果要删除表或更改其设置，以及在某些其他情况下，则需要先使用 disable 命令禁用该表：

> disable 'test'

（2）如果表被禁用，可以使用 enable 命令重新启用它：

> enable 'test'

（3）将表禁用后，我们就可以使用 drop 命令删除表：

> drop 'test'

五、搭建Phoenix

1，什么是 Phoenix？

  • Phoenix 是构建在 HBase 上的一个 SQL 层，能让我们用标准的 JDBC APIs 而不是 HBase 客户端 APIs 来创建表，插入数据和对 HBase 数据进行查询。 
  • Phoenix 完全使用 Java 编写，作为 HBase 内嵌的 JDBC 驱动。Phoenix 查询引擎会将 SQL 查询转换为一个或多个 HBase 扫描，并编排执行以生成标准的 JDBC 结果集。
  • Phoenix 直接使用 HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。 

2，Phoenix 与 HBase 的关系

（1）Phoenix 与 HBase 中的表是独立的，两者之间没有必然的关系。

  • Phoenix 与 HBase 集成后会创建六张系统表：SYSTEM.CATALOG、SYSTEM.FUNCTION、SYSTEM.LOG、SYSTEM.SEQUENCE、SYSTEM.STATS，其中 SYSTEM.CATALOG 表用于存放 Phoenix 创建表时的元数据。
  • Phoenix 创建表时会自动调用 HBase 客户端创建相应的表，并且在 SYSTEM.CATALOG 系统表中记录 Phoenix 创建表时的元数据，其主键的值对应 HBase 的 RowKey，非主键的列对应 HBase 的 Column（列族不指定时为 0，且列会进行编码）

（2）如果是通过 Phoenix 创建的表，那么必须通过 Phoenix 客户端来对表进行操作，因为通过 Phoenix 创建的表其非主键的列会进行编码。

3，准备工作

    由于 Phoenix 是内嵌在 HBase 的 JDBC 驱动，因此我们先要安装 JDK、HBase 和 Zookeeper（以上已经安装好），并配置好 JAVA_HOME 环境变量。

4，下载 Phoenix 安装包

（1）首先访问 Phoenix 官网（https://phoenix.apache.org/download.html）根据 HBase 版本下载相应的安装包：

​

如果没有上图，就去 Apache Archive 这里下载

 

（2）将下载下来的压缩包上传到 Master 节点（比如 /home 目录下），执行如下命令进行解压：

# tar -zxvf apache-phoenix-5.0.0-HBase-2.0-bin.tar.gz -C /home
# chown -R hadoop.hadoop /home/apache-phoenix-5.0.0-HBase-2.0-bin/
# chmod -R 755 /home/apache-phoenix-5.0.0-HBase-2.0-bin/

（3）接着进入解压后的目录，将目录下的所有 jar 包拷贝到集群中每个节点（主节点也要拷贝）的 hbase 的 lib 目录下： 

注意：网上说只要拷贝 phoenix-5.0.0-HBase-2.0-server.jar 就行了，但我测试发现后面执行 sqlline.py 会一直停在中途，无法成功。同时访问 HBase 的 Web UI 页面可以看到其一直处于 RIT 状态（Regions In Transition）

# cp /home/apache-phoenix-5.0.0-HBase-2.0-bin/*.jar /home/hbase-2.2.4/lib/

（4）同时将 hbase/conf 目录下 hbase-site.xml 文件放到 phoenix 的 bin 目录下：

# cp /home/hbase-2.2.4/conf/hbase-site.xml /home/apache-phoenix-5.0.0-HBase-2.0-bin/bin

5，配置环境变量

（1）执行如下命令编辑 profile 文件：

# vim /etc/profile
# For Phoenix
export PHOENIX_HOME=/home/apache-phoenix-5.0.0-HBase-2.0-bin
export PHOENIX_CLASSPATH=$PHOENIX_HOME
export PATH=$PHOENIX_HOME/bin:$PATH
# source /etc/profile

6，重启 HBase

# stop-hbase.sh
# start-hbase.sh

7，启动 Phoenix 

（1）执行如下命令进入 phoenix 的终端（启动脚本 sqlline.py 参数是 Zookeeper 节点）；

# sqlline.py 10.10.100.240:2181

 （2）首次进入 phoenix 终端会自动建立的 phoenix 系统表，我们执行如下命令可以查看当前所有的表：

> !table

 （3）执行如下命令则可退出 phoenix 的终端：

> !exit

 （4）访问 HBase 的 Web UI 页面也可以看到新创建的这些表：

 http://10.10.100.240:16010/master-status

JX_BABA
关注
Hadoop+hbase伪分布式安装，及配置优化
keeper的博客
03-21 473
环境 操作系统：centos7 Jdk：1.8.0_25 Hadoop：2.7.5 Hbase：1.2.6 hadoop安装 Jdk安装及环境变量配置：略 Hadoop安装 下载hadoop-2.7.5.tar.gz解压 进入/usr/local/hadoop/etc/hadoop 打开文件Vim hadoop-env.sh 搜索export JAVA_HOME，修改成自己的
hadoop伪分布 hbase安装
tjl373725的博客
05-09 465
下载地址：http://archive.apache.org/dist/hbase/1.3.1/ 解压Hbase的安装包，修改conf/hbase-env.sh文件，如下： export JAVA_HOME=/opt/java/jdk1.8.0_191 export HBASE_CLASSPATH=/usr/local/hadoop export HBASE_OPTS="-XX:+UseC...
Hadoop基础之《（9）—整合HBase+Phoenix+Hive—安装HBase》
csj50的专栏
02-03 1128
数据行具有可排序的键和任意数量的列。该表存储稀疏，因此如果用户喜欢，同一表中的行可以具有疯狂变化的列。（4）最终理解HBase数据模型的关键在于稀疏、分布式、多维、排序的映射。Apache HBase是以HDFS为数据存储的，一种分布式、可扩展的NoSQL数据库（非关系型，以k,v的形式存储数据）。Bigtable是一个稀疏的、分布式的、持久的多维排序map（代码里的hashmap是单维的，并且一定是有序的）。映射中的每个值都是一个未解释的字节数组。HBase可以认为是以HDFS为存储的数据库。
Hadoop环境搭建学习之Phoenix整合HBase(8)
panda_225400的博客
05-15 791
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、Phoenix是什么？二、使用步骤1.环境准备2.集群规划2.Phoenix安装3.Phoenix Shell 表操作总结 前言 提示：这里可以添加本文要记录的大概内容： HBase 不支持 SQL 语法，使用非常不便，所以诞生丁 Phoenix。 Phoenix 是通过一个嵌人的 JDBC驱动存储在HBase 中的数据的查询。Phoenix 可以让开发者在 HBase数据集上使用 SQL 查询。 一、Phoenix是什.
Phoenix是一个开源的数据库软件，用于处理大数据，它可以将大量数据存储在Hadoop分布式文件系统中
BLOG域名:programb.blog.csdn.net
01-21 794
此外，Phoenix还提供了数据虚拟化功能，可以将来自不同数据源的数据整合到一个统一的SQL查询环境中，方便用户进行跨数据集的分析和处理。此外，Phoenix还提供了数据虚拟化功能，可以将来自不同数据源的数据整合到一个统一的SQL查询环境中，方便用户进行跨数据集的分析和处理。它通过SQL接口和Hadoop分布式文件系统的结合，提供了高效、灵活和易用的数据处理和分析功能。数据虚拟化：通过数据虚拟化，Phoenix可以将来自不同数据源的数据整合到一个统一的SQL查询环境中，方便用户进行跨数据集的分析和处理。
Hadoop基础之《（10）—整合HBase+Phoenix+Hive—安装Phoenix》
csj50的专栏
02-08 1266
官方给的解释为：在Client和HBase之间放一个Phoenix中间层不会减慢速度，因为用户编写的数据处理代码和Phoenix编写的没有区别，不仅如此Phoenix对于用户输入的SQL同样会有大量的优化手段（就像Hive自带sql优化器一样）。1、phoenix需要匹配hbase版本，hbase版本为2.5.2。2、复制server包并拷贝到各个节点的hbase/lib。2、为什么使用Phoenix。当前安装版本为5.1.3。一、Phoenix简介。1、Phoenix定义。5、连接Phoenix。
phoenix概览
大怀特的博客
11-04 117
概览 在Hadoop中Phoenix是用来做OLTP和业务分析,并且以一种低延时的方式把两个结合起来. 强大的标准的SQL和JDBC API,并且可以具有完整的ACID事务能力 利用HBase作为后端存储,在NoSql中可以schema-on-read能力,和灵活的后绑定. Phoenix可以集成到其它的Hadoop框架中,像Spark,Hive,Pig,Flume和MapReduce. 使命 成为可依赖的OLTP和业务数据分析的数据平台,为Hadoop定义工业标准的API. 快速入门 已经读
安装笔记：hadoop+hbase+sqoop2+phoenix+kerberos
01-12
【标题】：“安装笔记：hadoop+hbase+sqoop2+phoenix+kerberos” 【描述】：在本文中，我们将探讨如何在两台云主机（实际环境可能需要三台或更多）上安装Hadoop、HBase、Sqoop2、Phoenix以及Kerberos的详细过程，...
hadoop2.7.1+zk3.5+hbase2.1+phoenix 安装部署环境打包
07-01
在大数据领域，Hadoop、HBase、ZooKeeper和Phoenix是四个非常重要的组件，它们共同构建了一个高效、可扩展的数据处理和存储环境。本压缩包提供了这些组件的安装部署资源，便于快速搭建一个完整的Hadoop2.7.1、ZK3.5...
centos7环境搭建hadoop+hbase+zookeeper+phoenix+thritf
keeper的博客
04-17 1107
一．环境说明 系统：CentOS Linux release 7.6.1810 (Core) IP：10.255.175.84 Jdk：1.8.0_25 Hadoop：2.7.5 Hbase：1.2.6 Zookeeper: zookeeper-3.4.10 Phoenix: phoenix-4.14.1-HBase-1.2-bin Thrift: thrift-0.11.0 二...
Hadoop Zookeeper HBase集群
04-02
最后，HBase是一个基于Hadoop的分布式、面向列的NoSQL数据库。它提供实时读写访问，支持大规模数据存储。HBase的关键特性包括： - 行式存储：与传统的列式数据库不同，HBase是以列族为单位存储数据，这使得在处理大...
Java分布式文件存储项目开发视频教程 （Hbase分布式数据库+Spring boot技术）
09-12
- **HBase介绍**：HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的 Google 论文 “Bigtable: A Distributed Storage System for Structured Data”。不同于一般的关系数据库，它是一个...
5、Apache Phoenix(5.0.0-5.1.2) 介绍及部署、使用（基本使用、综合使用、二级索引示例）、数据分区示例
热门推荐
alanchanchn的专栏
05-31 5万+
Phoenix官网：「We put the SQL back in NoSQL」Apache Phoenix让Hadoop中支持低延迟OLTP和业务操作分析。提供标准的SQL以及完备的ACID事务支持通过利用HBase作为存储，让NoSQL数据库具备通过有模式的方式读取数据，我们可以使用SQL语句来操作HBase，例如：创建表、以及插入数据、修改数据、删除数据等。Phoenix通过协处理器在服务器端执行操作，最小化客户机/服务器数据传输。
HBase整合Phoenix
lydms的博客
12-03 1万+
1）官网地址：http://phoenix.apache.org/Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表，插入数据和查询HBase数据。优点：使用简单，直接能写sql。缺点：效率没有自己设计rowKey再使用API高，性能较差。
【Hbase】hbase和phoenix的整合（6）
hx1156477702的博客
10-03 1342
hbase和phoenix的整合，phoenix安装部署，phoenix的使用，HBase的命名空间，列簇设计，版本设计，数据压缩，ROWKEY设计原则，设置预分区，Phoenix的视图，二级索引。
葵花宝典--Hbase+Phoenix
奔波在代码路上
04-25 867
一、概述 Hbase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从HBase的底层物理存储结构（K-V）来看，HBase更像是多维map。 Hbase逻辑结构： Hbase物理结构： nameSpace：类似与数据库，默认default和hbase两个，hbase表放hbase内置...
hbase+phoenix
qq_41050475的博客
05-15 175
hbase+phoenix
Phoenix的安装使用与SQL查询HBase
weixin_42073629的博客
10-06 3021
一. Phoenix的简介 1. 什么是phoenix 现有hbase的查询工具有很多如：Hive，Tez，Impala，Shark/Spark，Phoenix等。今天主要说Phoenix。phoenix是一个在hbase上面实现的基于hadoop的OLTP技术，具有低延迟、事务性、可使用sql、提供jdbc接口的特点。而且phoenix还提供了hbase二级索引的解决方案，丰富了hbase查询的多样性，继承了hbase海量数据快速随机查询的特点。但是在生产环境中，不可以用在OLTP中。在...
HBase
最新发布
赞的心路历程
09-09 551
安装包：链接:提取码: 5up7。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值