HBase
Cocktail_py
这个作者很懒,什么都没留下…
展开
-
hbase数据压缩
使用了一段时间之后发现hbse的空间不足,需要对hbase进行数据压缩hbase支持的压缩格式:GZ(GZIP),LZ0,LZ4,Snappycompact分为两类,一类叫Minor compact ,一类叫Major compact;两者的区别在于:Minor compact只是进行文件merge操作,而Major compact除了做文件Merge操作,还会将其中的delete项删除1.建表的时指定数据压缩格式# 创建指定压缩格式的表create 'ods:tablename',{NAM.原创 2021-01-28 14:25:45 · 6481 阅读 · 0 评论 -
hbase 快速复制一张表数据到另一张新表
# 创建原表快照# snapshot 'namespace:sourceTable', 'snapshotName', {SKIP_FLUSH => true}snapshot 'namespace:sourcetablename' , 'namespace_sourcetablename_snapshot'# 将快照数据复制到另外一张新表clone_snapshot 'namespace_sourcetablename_snapshot','namespace:sourcetablenam原创 2021-01-22 10:57:09 · 6499 阅读 · 0 评论 -
thriftpy2.transport.TTransportException: TTransportException(type=4, message=‘TSocket read 0 bytes‘)
DEFAULT_HOST = 'localhost'DEFAULT_PORT = 9090DEFAULT_TRANSPORT = 'buffered'DEFAULT_COMPAT = '0.98'# DEFAULT_PROTOCOL = 'binary'DEFAULT_PROTOCOL = 'compact'原创 2020-12-21 11:08:13 · 6542 阅读 · 0 评论 -
使用setuptools 编写python sdk 解决安装包无法添加其他文件
根据公司需求利用es做hbase二级索引,编写相应的python sdk1.目录结构2.安装相关依赖pip install setuptools==41.0.1 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com3.编写setup.py文件from setuptools import setup, find_packagessetup( name="hbase-thrift-py-sdk", .原创 2020-09-15 12:40:53 · 5057 阅读 · 1 评论 -
python实现hbase增删改查
一.hbase shell创建命名空间hbase shellcreate_namespace "gofish"二.python实现hbase增删改查# -*- coding: utf-8 -*-# @Time : 2020/7/28 14:02# @Author :"""https://blog.csdn.net/Cocktail_py/article/details/102730839No protocol version header./hbase-daemon.sh st原创 2020-07-29 08:39:43 · 6945 阅读 · 0 评论 -
如何选择合适的HBase版本以及对应Hadoop版本
方式一wget https://mirror.bit.edu.cn/apache/hbase/2.2.4/hbase-2.2.4-bin.tar.gz方式二https://hbase.apache.org/book.html#javahttps://blog.csdn.net/liubenlong007/article/details/95483598原创 2020-05-25 22:09:57 · 676 阅读 · 0 评论 -
python操作阿里云增强版hbase
一.安装# 步骤1:安装依赖pip install thriftpip install hbase-thrift。。。依赖# 步骤二:将链接上的hbase文件放到site-packages替换原有的hbase文件https://github.com/aliyun/aliyun-apsaradb-hbase-demo/tree/master/hbase/thrift2/python...原创 2020-04-27 11:46:31 · 992 阅读 · 1 评论 -
ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
hbase(main):004:0> list_namespaceNAMESPACE ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializin...原创 2019-12-10 12:37:09 · 249 阅读 · 0 评论 -
HBase Shell
Apache HBase™ is the Hadoop database, a distributed, scalable, big data store.一.简介HBase名字源于Hadoop database,即hadoop数据库,是基于行模式的非结构化数据存储的数据库.HBase以表的形式存储数据,分为若干个列族/列簇(column family),每个列族/列簇下面可以有多个普通...原创 2019-10-24 20:50:32 · 274 阅读 · 0 评论 -
HBase2.1.1 HA完全分布式集群搭建(后面降为2.0.6版本)
在搭建HBASE集群的时候需要选择合适的Hadoop版本这里使用的Hadoop2.7.7+HBASE2.1.1版本进行搭建Hadoop环境搭建参考 Hadoop2.7.7 HA完全分布式集群搭建内网ip & 主机名 &角色软件 & 运行进程192.168.18.126 : weyes01 :master节点Hmaster192.16...原创 2019-10-21 17:56:12 · 624 阅读 · 0 评论