Linux的Hbase分布式安装以及配置以及使用snappy

参考文献:
【主要参考(万分感谢)】https://blog.csdn.net/qq_26848943/article/details/81011709
https://blog.csdn.net/lisonglisonglisong/article/details/46974723#t0
hbase跟hadoop版本关系https://hbase.apache.org/book.html#basic.prerequisites
zookeeper下载地址https://zookeeper.apache.org/releases.html
hadoop下载地址:https://archive.apache.org/dist/hadoop/common/
snappy压缩内容:https://hbase.apache.org/book.html#compression

  1. 准备安装包
    openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz
    hbase-2.5.5-bin.tar.gz
    hadoop-2.10.2-src.tar.gz
    apache-zookeeper-3.8.2-bin.tar.gz
    2.为每个服务器都安装好java环境,服务器要开通相应端口如3888
    3.添加Hosts映射关系
    在这里插入图片描述

4.集群之间SSH无密码登陆
主节点执行

ssh-keygen -t rsa

子节点执行

cp ~/.ssh/id_rsa.pub ~/.ssh/《替换当前主机名》.id_rsa.pub		//复制备份
scp ~/.ssh/《替换当前主机名》.id_rsa.pub 《替换主节点主机名》:~/.ssh		//拷贝到master准备认证

回到主节点执行
参考:https://blog.csdn.net/qq_26848943/article/details/81011709
完成后可通过以下代码来测试是否无密连接

ssh 《节点主机名》

5.配置hadoop
参考:https://blog.csdn.net/qq_26848943/article/details/81011709
6.配置zookeeper
参考:https://blog.csdn.net/qq_26848943/article/details/81011709

遇到的问题:
1.zookeeper启动报错:错误: 找不到或无法加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain
原因:https://blog.csdn.net/succing/article/details/127837281
2.zookeeper无法连接子节点3888端口,拒绝连接
原因:3888绑定在本地回环地址127.0.0.1上。
解决:需要在zookeeper配置zoo.cfg上加

quorumListenOnAllIPs=true

3.hadoop无法连接DataNode
原因:端口9000绑定在127.0.0.1上
解决:修改/etc/hosts文件,将本机名对应的ip改成对外访问的ip
4.snappy压缩
4.1将hadoop的这两个文件和snappy的这两个文件在同一个地方
在这里插入图片描述
在这里插入图片描述

4.2配置hbase中hbase-env.sh文件
    这里的路径是上面的文件存放路径
    `export HBASE_LIBRARY_PATH=/usr/lib64`

5.java无法连接到hbase集群
修改本机的hosts文件(主机名跟hbase-site中的节点一样)
《外网ip》 主机名

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HBase 是一个基于 Hadoop分布式数据库,可以用于存储和处理大规模数据。下面是 HBase 分布式安装配置的步骤: ## 环境准备 在开始安装之前,需要确保以下环境已经准备好: - Hadoop 集群已经安装配置好 - ZooKeeper 集群已经安装配置好 - Java 环境已经安装配置好 ## 下载和安装 HBase 1. 下载 HBase 安装包: ```shell wget https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.4.5/hbase-2.4.5-bin.tar.gz ``` 2. 解压安装包: ```shell tar -zxvf hbase-2.4.5-bin.tar.gz ``` 3. 将解压后的文件夹移动到 Hadoop 安装目录下: ```shell mv hbase-2.4.5 /usr/local/hadoop/ ``` ## 配置 HBase 1. 打开 HBase 配置文件: ```shell cd /usr/local/hadoop/hbase-2.4.5/conf cp hbase-site.xml hbase-site.xml.bak vi hbase-site.xml ``` 2. 在 hbase-site.xml 文件中添加以下配置: ```xml <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://namenode:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>zk1:2181,zk2:2181,zk3:2181</value> </property> </configuration> ``` 其中,hbase.rootdir 指定 HBase 在 HDFS 上的根目录;hbase.cluster.distributed 表示 HBase 集群是分布式的;hbase.zookeeper.quorum 指定 ZooKeeper 集群的地址。 3. 打开 HBase 环境变量文件: ```shell vi /etc/profile.d/hbase.sh ``` 4. 在 hbase.sh 文件中添加以下配置: ```shell export HBASE_HOME=/usr/local/hadoop/hbase-2.4.5 export PATH=$PATH:$HBASE_HOME/bin ``` 5. 使环境变量生效: ```shell source /etc/profile.d/hbase.sh ``` ## 启动 HBase 1. 启动 HBase: ```shell start-hbase.sh ``` 2. 验证 HBase 是否启动成功: ```shell jps ``` 如果成功启动,将看到类似以下输出: ``` 23320 HMaster 23545 HRegionServer 23399 HQuorumPeer ``` ## 测试 HBase 1. 进入 HBase shell: ```shell hbase shell ``` 2. 创建一个表: ```shell create 'test', 'cf' ``` 3. 插入一条数据: ```shell put 'test', 'row1', 'cf:a', 'value1' ``` 4. 查询数据: ```shell get 'test', 'row1' ``` 如果成功插入并查询数据,将看到类似以下输出: ``` COLUMN CELL cf:a value1 ``` 至此,HBase 分布式安装配置完成。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值