ubuntu 利用python代码创建hbase数据库,插入记录,列举记录,删除记录(hbase的单机模式,happybase操作hbase)

ubuntu 利用python代码创建hbase数据库,插入记录,列举记录,删除记录(hbase的单机模式,happybase操作hbase)

  • 更新时间:2022.10.16

1、环境问题

我的环境

  • wsl下的Ubuntu 20(wsl的window下面的子系统)
  • hadoop 3-2-x
  • hbase 2.2
  • conda为最新版
一定要注意的版本问题
  • 我个人的认为,很多问题都是版本问题,所以自己一定要注意

  • 为什么我会这样认为

    • 我最开始的版本是hadoop的最新版,大概是4.4
    • hbase也是最新版本,使用的3.X
    • 最后的结果是,不管怎么操作都报错
    • hbase连接shell的后卡死,create表都不能操作,报错
  • 后来不断查错,但是都不能解决,当然也察觉到可能是版本问题,但是安装其他组件还是比较麻烦,本来想要在这个基础上改,但是确实没有改好。所以版本问题一定要注意。

  • hadoop和hbase版本对照表
    在这里插入图片描述

  • 目前最新版本还没有版本对照关系(没有被测试)

  • jdk和hbase的版本对照
    在这里插入图片描述

  • 推荐版本:
    在这里插入图片描述

  • 然后,版本问题,一定要注意,否则出现各种问题

其他环境正常配就可以了

  • jupyter (可以没有)
  • anaconda(python环境,也可之只下载python)
  • jdk(必有)
  • hbase(必有)
  • hadoop(必有)
  • ssh(必有)

2、配置hbase

第一步

- hbase下载,清华源:https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/
- 移动到虚拟机里面解压,解压命令:tar zxvf hbaseXXX [解压位置]
	- 移动的方法:
	- 1、vmware下的可以使用vmtools进行移动
	- 2、wsl下的命令: mv /mnt/d/ [目标目录] 
		- mnt为windows下面的目录
		- 目标目录一般为 用户的目录

第二步

- 配置hbase(我的解压路径:/home/nihao/ 下面,在nihao用户目录)
	- 切换到hbse的conf目录:cd /home/nihao/hbase/conf (hbase是你的解压目录)
	- 编辑hbase-env.sh:vim hbase-env.sh
		- 添加这两行
			export JAVA_HOME=/user/etc/jvm/jdk1.8.0_271#你的jdk路径
			export HBASE_MANAGES_ZK=true#开启hbase的内在的zookeeper
	- 编辑 hbase-site.xml:vim hbase-site.xml
		- 配置为单机模式
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>file:///DIRECTORY/hbase</value>
  </property>
</configuration>

配置.bashrc

  • vim ~/.bashrc
  • 添加这两行(之后就就可以不用切换到hbase就可以直接调用hbase的命令)
    • export HBASE_HOME=/home/nihao/hbase
    • export PATH= P A T H : PATH: PATH:HBASE_HOME/bin
  • source ~/.bashrc

注意:这里配置的是单机模式,然后hbase-site.xml只保留该代码

3、使用hbase

  • 启动hbase
sudo /etc/init.d/ssh start #开启ssh
sudo /etc/init.d/dbus start #这句可能用不到,我遇到错误为dbus未开启
ssh localhost# 测试ssh是否可以连接
/home/nihao/hadoop/sbin/start-dfs.sh# 开启hdfs(可以没有)
hbase thrift start-port:9090#内置thirft开启
/home/nihao/hbase/bin/start-hbase.sh# 开启hbase
  • jps查看进程(这几个进程必须有)
    在这里插入图片描述

  • 问题(如果没有thriftserver这个进程,就会出现以下问题)
    在这里插入图片描述

  • 测试一下

    • /home/nihao/hbase/bin/hbase shell# 连接shell
      在这里插入图片描述

    • 然后创建一个表 :create ‘table1’,‘row1’

    • 查看是否创建成功
      在这里插入图片描述

  • 到这里就基本没问题了

可能出现的问题,如果出现输入命令很久不动,就代表配置失败,别等了,直接换教程

4、使用happybase操作hbase

  • 首先安装 happybase:pip install happybase
  • 我使用的jupyter lab,直接上截图吧
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • 如果到第三步的没有问题,这一步一般不会出错

完结,撒花

  • 参考博主
    hbase单机模式配置:http://t.zoukankan.com/momoyan-p-11616453.html
    happybase操作hbase:https://blog.csdn.net/u013596478/article/details/111147118

还有其他问题私聊

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值