HBase环境搭建

最新推荐文章于 2023-06-27 20:10:50 发布
最新推荐文章于 2023-06-27 20:10:50 发布
阅读量214 收藏
点赞数
分类专栏： 大数据开发与应用学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44298590/article/details/89890893
版权

全分布式

本人前提

  • zookeeper-3.4.10装好，在 /usr/local 目录下
  • Java中的jdk在 /usr/java/jdk
  • HBase-1.4.9
    搭建
  1. HBase安装包上传到 /usr 目录下
  2. 解压安装包 tar -zxvf hbse-1.4.9-bin.tar.gz (tar -xvf hbase-1.4.9.gz)
  3. 配置HBase环境变量 cd hbase-1.4.9/conf vi hbase-env.sh 加入Java安装路径 export JAVA_HOME=/usr/java/jdk （可以ESC退出编辑模式，输入JAVA_HOME可以找到文件中的Javahome，去掉前面的#注释，修改即可，加入搜索 the ，输入the ，回车，自动定位，按N向上找，n向下找）
  4. 修改conf/hbase-site.xml文件在这里插入图片描述
  5. 配置 conf/regionservers 文件 修改为 slave1 slave2
  6. master节点配置完成，复制到slave1和2：scp -r /usr/hbase-1.4.9 slave:/usr
  7. 先启动Hadoop再启动HBase
    start-all.sh正常输入即可
    start-hbase.sh（在 hbase-1.4.9 /conf/bin 目录下 输入: ./start-hbase.sh[因为没有把HBase放在环境变量下，需到可执行文件bin（binary）下执行，bin目录下存放的是脚本]）
  8. master节点上出现6个，slave1和2出现5个
    在这里插入图片描述在这里插入图片描述
    HBase Shell
  9. 在bin目录下启动HBase Shell命令：./hbase shell(shutdown是关闭HBase服务，exit是退出 HBaseShell)
  10. https://blog.csdn.net/hulaquancai/article/details/20613589参照这篇文章设置HBase Shell的删除功能
    HBase Java ApI
    代码：
    链接：https://pan.baidu.com/s/1cF7_cbMmYjLYCu5egIEFXw
    提取码：ddb2
  11. 把 用户目录下的.m文件夹下的C:\Users\lenovo.m2
    repository\edu\qfnu\hadoop\hbasedemo\1.0-SNAPSHOT hbasedemo-1.0-SNAPSHOT.jar上传到linux服务器（我的上传后再 home/xxx文件夹下）
  12. 把jar包加入HBase的环境变量
    export HBASE_CLASSPATH=/home/xxx/hbasedemo-1.0-SNAPSHOT.jar
    检查是否加入
    echo $HBASE_CLASSPATH(会出现上面配置的路径）
  13. 启动集群，启动hbase
    bin/hbase edu.qfnu.hadoop.hbase.BasicOper -create （出现create data successs!）
  14. 打开hbase shell :bin/hbase shell
    sacn 'test’可以看见创建了列表
    bin/hbase edu.qfnu.hadoop.hbase.BasicOper -put(出现put data successs!)
    打开hbase shell :bin/hbase shell
    scan ‘test’(在test列表中加入了数据)
    重新加入slave3,slave4节点后，再次执行bin/hbase edu.qfnu.hadoop.hbase.BasicOper -put，出现

org.apache.hadoop.hbase.TableExistsException: hbase:namespace异常
在zookeeper节点上执行
zkCli.sh
ls /
rmr /hbase
在这里插入图片描述

在这里插入图片描述
11. HRegionserver节点断掉
原因重新加了两个节点，日志文件不匹配
方法：删除hadoop中的hbase文件，并重新建立
hadoop fs -rm -r /hbase
hadoop fs -mkdir /hbase
赋予权限
hadoop fs -chown hbase /hbase
删除hbase在zookeeper中的缓存日志信息（在hbase的conf/hbase-site.xml文件中）
进入zookeeper-3.4.10/data
rm -rf zookeeper.out

单机模式

1.新建centos7虚拟机

2.查看系统是否装了jdk java -version命令查看，如果显示版本号，则说明已经装了jdk,用rpm -qa | grep java显示jdk相关文件夹，用rpm -e --nodeps 文件名 删除文件，如果没有权限，改成root用户

在这里插入图片描述

3.给虚拟及配置固定IP（不设置也可）

修改文件，ip和网关要根据VMware中 编辑->虚拟网络编辑器->g更改设置->VMnet8->DHCP设置，产看网关，子网掩码，虚拟机IP要和子网IP前3为相同。

或者如果虚拟机能连接网络，把网络固定为此时的IP也可

打开此界面后最下面

[root@CentOS7 aha]# vi /etc/sysconfig/network-scripts/ifcfg-ens33

IPADDR=192.168.79.128 #ip
GATEWAY=192.168.79.2 #网关
NETMASK=255.255.255.0 #子网掩码
DNS1=114.114.114.114

BOOTPROTO=static

ONBOOT=yes

4.可以在windows中下载hbase和Java，通过发送到邮箱，在虚拟机上登录邮箱，下载文件

（虚拟机中没有中文输入法，我们可以复制’下载’，在移动hbase和java时）
在这里插入图片描述

5.在根目录下新建hbase和java文件夹

mkdir /java 和 mkdir /hbase

移动下载文件夹中的hbase和jdk到新建的java和hbase中

首先进入下载文件夹 `cd 下载`（下载可以采用复制的方法）

​ mv jdk-8u-linux-x64.tar.gz /javahbase如同理

​ 解压文件夹tar -xvf jdk-8u172-linux-x64.tar.gz

​ 用ls命令查看

在这里插入图片描述

6.配置java环境变量

vi /etc/profile

添加

export JAVA_HOME=/java/jdk1.8.0_171
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
#export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=.:$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

7.验证环境变量

[root@bogon bin]# echo $JAVA_HOME
/root/Downloads/jdk1.8.0_172

8.配置hbase,修改hbase目录下的hbase-site.xml

在单机模式中，HBase并不使用 HDFS，仅使用本地文件系统。conf/hbase-env.sh文件不需要修改，仅仅修改conf/hbase-site.xml，指定数据文件的存放路径。

cd hbase进入目录

vi hbase-site.xml修改文件，按i修该，修改完后保存退出 :wq

<configuration>
   <property>
      <name>hbase.tmp.dir</name>
      <value>/usr/local/hbase/hbaseData</value>
   </property>
    <property>
        <name>hbase.rootdir</name>
        <value>file:/usr/local/hbase</value>
    </property>
</configuration>

9.在bin目录下启动hbase,需要root权限

在这里插入图片描述
10.以root用户在bin 目录下启动hbase-shell

在这里插入图片描述
11. 进入HBase首页可以查看信息，IP地址改成自己的即可
在这里插入图片描述
在这里插入图片描述

环境搭建时常用命令

切换root: su

其他用户: su username

查看IP

 ifconfig

重启网络服务

 systemctl restart network  service network restart

防火墙

sudo systemctl stop firewalld #临时关闭

sudo systemctl disable firewalld # 永久关闭

sudo systemctl status firewalld #查看防火墙状态。

SSH服务

systemctl status sshd.service #查看状态
systemctl start sshd.service #启动服务
systemctl restart sshd.service #重启服务
systemctl enable sshd.service #开机自启

文件

#复制
cp [-adfilprsu] 源文件(source) 目标文件(destination)
cp [option] source1 source2 source3 ... directory
#移动
mv [-fiv] sourmvce destination
#删除
rm [fir] 文件或目录
#解压
tar -xvf jdk-8u172-linux-x64.tar.gz
#创建文件夹
mkdir [选项]目录...
mkdir /java 应该是在根目录下创建java目录
mkdir -p ：递归创建多个目录
#查看文件前几行后几行
head -n 10 /etc/profile #查看etc/pprofile文件前几行
tail  -n 5 /etc/profile  #查看etc/profile后5行
#
cat zookeeper.out

jdk路径

vi /etc/profile

export JAVA_HOME=/java/jdk1.8.0_171
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
#export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=.:$JAVA_HOME/bin:$JRE_HOME/bin:$PATH:$HBASE_HOME/bin
export HBASE_MANAGES_ZK=true
export HBASE_HOME=/hbase/hbase-1.3.6
//需要配置jdk和hbase的路径,PATH路径也得添加

使配置文件生效

[root@CentOS7 java]# source /etc/profile

显示配置

echo $JAVA_HOME

echo $PATH

查看卸载前后openssh相关服务安装情况

# 可以通过这条命令查看卸载前后的openssh相关服务安装情况
rpm -qa openssh*
# 卸载
yum remove openssh*
#安装
yum install openssh-server

ssh的log文件

/var/log/secure

修改网络配置

[root@CentOS7 aha]# vi /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=32439479-205b-4847-a862-ea7ed324af72
DEVICE=ens33
ONBOOT=yes
IPV6_PRIVACY=no
IPADDR=192.168.27.128   #ip
GATEWAY=192.168.27.2   #网关
NETMASK=255.255.255.0  #子网掩码
DNS1=114.114.114.114
!@#~
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hbase完全分布式环境搭建
chabale的专栏
04-16 1万+
             HBase是一个分布式的、面向列的开源数据库，该技术来源于Chang et al所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。...
Hadoop集群+Zookeeper+HBase环境搭建
03-29
### HBase环境搭建 HBase是建立在Hadoop文件系统之上的NoSQL数据库，用于存储大量稀疏的数据表。HBase的搭建依赖于已经搭建好的Hadoop集群和Zookeeper集群。在HBase的配置文件中，指定HDFS上的表数据存储路径以及...
HBase的环境配置及其应用
weixin_34306446的博客
06-16 298
-------------------------------------------------------------------------------------- [版权申明：本文系作者原创，转载请注明出处] 文章出处：http://blog.csdn.net/sdksdk0/article/details/51680296 作者： 朱培 ...
HBase篇--搭建HBase完全分布式集群
weixin_33755847的博客
01-12 135
一.前述。 完全分布式基于hadoop集群和Zookeeper集群。所以在搭建之前保证hadoop集群和Zookeeper集群可用。可参考本人博客地址 https://www.cnblogs.com/LHWorldBlog/p/8232935.html搭建hadoop集群 二.集群规划。 说明：因为HMaster主节点和从节点不会自动切换，所以需要互相配置免密，并且配置从主节点到从节点...
HBase完全分布式搭建
a904364908的博客
04-21 282
前言 HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处...
Hbase完全分布式搭建
小生不才的博客
09-04 684
zk和hadoop完全分布式搭建,
HBase集群环境搭建
06-15
HBase集群环境搭建 HBase集群环境搭建是大数据技术中的一个重要环节，本文将详细介绍HBase集群环境搭建的步骤和配置过程。以下是HBase集群环境搭建的详细信息： 一、集群规划 在HBase集群环境搭建中，需要首先...
hbase2.0环境搭建
11-22
hbase2.0环境搭建的知识点可以从多个维度展开，包括环境准备、软件安装、配置调整、服务启动以及性能优化等方面。 首先，环境准备是hbase2.0环境搭建的重要环节。文档中提到需要有hadoop2.7.5环境的搭建和启动，...
zookeeper+hbase集群搭建
04-15
在本文中，我们将深入探讨如何搭建一个Zookeeper和HBase集群，以及在过程中可能遇到的常见问题和解决方案。Zookeeper和HBase都是大数据处理领域的关键组件，Zookeeper作为一个分布式协调服务，而HBase是一个基于...
HBase集群搭建
10-25
HBase集群搭建 HBase是一种分布式、面向列的NoSQL数据库，基于Hadoop...HBase集群搭建需要安装HBase、配置HBase环境变量、配置hbase-env.sh文件、配置hbase-site.xml文件、配置regionservers文件和设置HBase环境变量。
搭建HBase完全分布式数据库
12-15
一、Hbase数据库概述； 二、Hbase体系结构； 三、Hbase数据库模型； 四、总结Hbase整体特点； 五、案例：搭建Hbase分布式数据库系统
HBase的安装与配置
11-24
Hbase的安装与配置 1、前提：要有装好的hdfs分布式文件系统和zookeeper集群 2、各台linux机器上传hbase安装包：hbase-0.98.12.1-hadoop2-bin.tar.gz 3、解压jar包：tar -zxvf hbase-0.98.12.1-hadoop2-bin.tar.gz 4、把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下： cd root/hadoop/etc/hadoop scp -r hdfs-site.xml /root/hbase-0.98.12.1-hadoop2/conf/ scp -r core-site.xml /root/hbase-0.98.12.1-hadoop2/conf/ 4、配置hbase集群，要修改3个文件（首先zk集群已经安装好了） 5、修改hbase-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_xxx (1)、告诉hbase使用外部的zk export HBASE_MANAGES_ZK=false 6、修改vim hbase-site.xml <property> <name>hbase.rootdir</name> <value>hdfs://namenade/hbase</value>//this is your real nodename. </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/opt/zookeeper</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>node11,node12,node13</value> </property> 7、修改vim regionservers （指定regionserver） Node11 node12 node13 8、指定 standby 的hbase的副节点，注意：该文件不存在，需要创建 vim backup-masters Node12 9、拷贝hbase到其他节点或机器 Cd /root/hbase-0.98.12.1-hadoop2 scp -r conf node12:/root/hbase-0.98.12.1-hadoop2/ scp -r conf node13:/root/hbase-0.98.12.1-hadoop2/ 10、设置私钥并同步时间。 11、启动所有的hbase （1）、分别启动zk /home/zookeeper-xxx/bin/./zkServer.sh start （2）、启动hdfs集群 /root/hadoop/sbin/./start-dfs.sh （3）、启动hbase，在主节点上运行： /root/hbase-0.98.12.1-hadoop2/bin/./start-hbase.sh 12、通过浏览器访问hbase管理页面 Node11:60010 Node12:60010 Node11:50070 Node12:50070 13、为保证集群的可靠性，要启动多个HMaster hbase-daemon.sh start master
Hbase完全分布式环境搭建
u010476994的博客
08-14 380
Hbase的使用依赖于hadoop环境和zookeeper，后二者的安装请参考本人博客：HADOOP 2.x 完全分布式集群环境搭建 。 具体安排：          本文中准备node~4 四台虚拟机：                     node1：  192.168.111.101                     node2 ： 192.168.111.102
HBase 配置
谁用谁的流年，乱了浮生……
10-20 568
1.1 HBase 配置文件文件概述 backup-masters 默认情况在 conf/ 目录下是不存在的。它只是一个普通的文本问你件，内容是列举运行 backpu HMaster 进程的主机名 hadoop-metrics2-hbase.properties 连接 HBase Hadoop 的 Metrics2 框架，可以点击这里了解更多关于 Metrics2 框架的信息。默认情况下，...
hbase配置详解
oceanloong的专栏
12-23 282
hbase.rootdir hdfs://master:9000/hbase HBase数据存储目录。
HBase的安装配置
最新发布
zinai的博客
06-27 561
本次实验出现无法自动关闭HRegionServer的问题，以及Hmaster时有时没有的问题。这2个问题中第一个我可以用手动关闭来停止HRegionServer，Hmaster时有时没有的问题我通过学习群“报春花”大佬的解答解决了Hmaster的问题。Score列族包含English、Math、Market、Java、Python、BigData列。Score列族包含English、Math、Market、Java、Python、BigData列。使用scan命令的filter搜索所有不及格的成绩记录，
HBase安装配置
哈
03-09 592
注意 HBase安装依赖于正在运行的Haddop集群和ZooKeeper集群 软件版本： hadoop:3.1.2 zookeeper:3.4.13 hbase:2.1.3 前置工作 1）集群时间同步 参考博客：集群时间同步 集群时间同步这一步是必须做的，否则HBase可能会启动不起来。 2）Hadoop安装配置 参考博客：Hadoop安装配置 3）Hadoop安装配置 参考博客：Hadoop安装...
Hbase安装配置(详细)
mouse_001的博客
12-14 1651
Hbase安装配置1.下载地址：2.解压3.文件配置：4.配置环境变量5.Hbase与环境变量文件分发6.所有节点更新环境变量7.启动Hbase(需先启动zookeeper与HDFS)8.浏览器Client访问：9.注： 本教程使用的Hbase：hbase-1.6.0-bin.tar.gz 默认安装目录：/opt 1.下载地址： http://archive.apache.org/dist. 2.解压 tar -zxvf hbase-1.6.0-bin.tar.gz -C /opt/ 3.文件配置： 1.1
HBase的安装和配置
foyemazl的博客
08-12 743
hbase和hive： hbase: 随机访问和实时读写，数据库，不支持分析 hive：基于MR的离线计算，数据仓库，支持分析 安装hbase： 1、tar -zxvf hbase-1.2.6-bin.tar.gz -C /soft/ 2、ln -s hbase-1.2.6 hbase 3、sudo nano /etc/profile，添加一下内容 # hbase环境变量 expo...
HBase环境搭建与JavaAPI编程教程：Zookeeper与配置详解
本篇文档是关于非关系型数据库HBase的实验教程，着重于HBase环境的搭建、shell操作以及Java API编程。实验涉及的关键知识点包括： 1. **Zookeeper和HBase的搭建**: - 实验首先要求在服务器上安装和配置Zookeeper...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值