HBase
关于我转生变成程序猿这档事
这个作者很懒,什么都没留下…
展开
-
【HBase】通过Bulkload批量加载数据到Hbase表中
目录需求步骤一、开发MapReduce需求将hdfs上面的这个路径 /hbase/input/user.txt 的数据文件,转换成HFile格式,然后load到myuser2表里面去先清空一下myuser2表的数据 —— truncate 'myuser2'步骤一、开发MapReduce定义一个main方法类——BulkloadMainpackage cn.itcast.mr.d...原创 2020-04-04 01:48:26 · 313 阅读 · 0 评论 -
【HBase】HBase和Hue的整合
目录一、修改hue.ini配置文件二、启动HBase的thrift server服务三、启动Hue四、页面访问一、修改hue.ini配置文件cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/confvim hue.ini[hbase] hbase_clusters=(Cluster|node01:9090) hbase_conf_di...原创 2020-04-04 00:27:43 · 422 阅读 · 0 评论 -
【HBase】协处理器是什么?又能干什么?怎么用?
目录简单了解官方帮助文档协处理器出现的原因协处理器的分类ObserverEndpointPhoenix协处理器的使用加载方式静态加载动态加载协处理器的卸载协处理器Observer应用实战需求步骤一、HBase当中创建第一张表proc1和第二张表proc2二、开发HBase的协处理器三、将java打成Jar包,上传到HDFS四、将jar包挂载到proc1表五、用JavaAPI想proc1表中添加数据...原创 2020-04-04 00:08:30 · 1045 阅读 · 0 评论 -
【HBase】带你了解一哈HBase的各种预分区
目录简单了解概述设置预分区一、手动指定预分区二、使用16进制算法生成预分区三、将分区规则写在文本文件中四、使用JavaAPI进行预分区简单了解概述由上图可以看出,每一个表都有属于自己的一个Region,但Region内的数据达到10GB时,会进行分割,但仍会在同一个RegionServer上,而预分区的作用主要是增加数据读写效率、负载均衡、防止数据倾斜、方便集群容灾调度Region和优化...原创 2020-04-03 17:59:25 · 721 阅读 · 1 评论 -
【HBase】快速了解上手rowKey的设计技巧
目录为什么要设计rowKey三大原则长度原则散列原则唯一原则热点问题的解决加盐哈希反转时间戳反转为什么要设计rowKey首先要弄明白一点,Regions的分区就是根据数据的rowKey处理的,而如果设计rowKey不合理,就会导致所有数据到一个分区,或者并没有很好地发挥预分区带来的负载均衡作用,还是会发生数据倾斜。HBase中还有一个就是rowKey的热点问题,因为rowKey是根据字典顺...原创 2020-04-03 17:57:47 · 578 阅读 · 0 评论 -
【HBase】HBase和Sqoop整合
目录需求一步骤一、修改sqoop配置文件二、在mysql中创建数据库和数据表并插入数据三、将mysql表中的数据导入到HBase表中四、在HBase表中查看数据需求二步骤一、创建hive外部表二、创建hive内部表并将外部表数据插入到内部表三、清空mysql表数据四、通过sqoop将hive内部表的数据导出到Mysql五、查询结果需求一将mysql表当中的数据导入到HBase中步骤一、修...原创 2020-04-03 15:12:07 · 659 阅读 · 0 评论 -
【HBase】快速搞定HBase与Hive的对比、整合
目录对比整合需求一步骤一、将HBase的五个jar包拷贝到Hive的lib目录下二、修改hive的配置文件三、在Hive中建表四、创建hive管理表与HBase映射五、在HBase中查看hbase_score需求二步骤一、在HBase中创建表并插入数据二、建立hive外部表,映射HBase中的表及字段对比整合需求一将hive分析结果的数据,保存到HBase当中 步骤一...原创 2020-04-03 00:04:08 · 564 阅读 · 0 评论 -
【HBase】HBase与MapReduce集成——从HDFS的文件读取数据到HBase
java代码实现MapReduce从HDFS读取文件数据,并将数据写入Hbase表中原创 2020-04-01 02:17:57 · 373 阅读 · 0 评论 -
【HBase】HBase与MapReduce的集成案例
读取一张HBase表的数据,并将需要的指定数据写入到另一种Hbase表中原创 2020-04-01 01:02:27 · 406 阅读 · 0 评论 -
【HBase】底层原理
目录系统架构系统架构在文章【HBase】基本介绍和基础架构中已经有简单介绍原创 2020-03-30 15:45:02 · 152 阅读 · 0 评论 -
【HBase】Java实现过滤器查询
目录概述代码实现rowKey过滤器RowFilter列族过滤器FamilyFilter列过滤器QualifierFilter概述过滤器可以分为两种:比较过滤器和专用过滤器。过滤器的作用是在服务端判断数据是否满足条件,然后只将满足条件的数据返回给客户端。比较过滤器LESS —— 小于LESS_OR_EQUAL —— 小于等于EQUAL —— 等于NOT_EQUAL —— 不等于...原创 2020-03-29 22:22:38 · 1402 阅读 · 0 评论 -
【Hadoop离线基础总结】Hadoop High Availability\Hadoop基础环境增强
目录简单介绍Hadoop HA 概述NameNode简单介绍Hadoop HA 概述HA(High Available) —— 高可用,是保证业务连续性的有效解决方案。一般有两个或两个以上的节点,分为活动节点(Active)及备用节点(Standby)。通常把正在执行业务的称为活动节点,而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题,导致正在运行的业务(任务)不能正常运行...原创 2020-03-26 22:10:54 · 383 阅读 · 0 评论 -
【HBase】通过Java代码实现HBase数据库中数据的增删改查
目录创建maven工程,导入jar包java代码实现创建hbase表java代码实现向hbase表中插入数据java代码查询hbase数据使用rowKey查询指定列族指定列的值通过startRowKey和endRowKey进行扫描创建maven工程,导入jar包 <repositories> <repository> <i...原创 2020-03-26 21:25:48 · 630 阅读 · 0 评论 -
【HBase】表模型和基本操作介绍
目录HBase表模型常用Shell操作HBase表模型创建一个hbase表,必须要有表名和列族名列族 —— columnFamily,就是上图中的Column Family1 userInfo store1 store2、Column Family2 addressInfo store3等列 —— column,就相当于mysql和hive中的字段名称,图中name、age、addre...原创 2020-03-26 12:02:46 · 428 阅读 · 0 评论 -
【HBase】集群搭建/安装部署
目录第一步:下载对应的HBase安装包第二步:上传压缩包并解压第三步:修改配置文件第四步:安装包分发到另外两台机器第五步:三台机器创建软连接第六步:三台机器添加环境变量第七步:启动HBase集群第八步:页面访问HBase强依赖于ZooKeeper和Hadoop,所以安装之前一定要保证两个服务正常运行第一步:下载对应的HBase安装包下载地址:http://archive.cloudera...原创 2020-03-25 16:23:14 · 180 阅读 · 0 评论 -
【HBase】HBase基本介绍和基础架构
目录基本介绍概述特点HBase和Hadoop的关系RDBMS与HBase的对比特征基础架构基本介绍概述HBase是bigtable的开源java版本,是建立在HDFS之上,提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统,主要用来存储结构化和半结构化的松散数据。HBase查询数据功能很简单,不支持join等复杂操作,不支持复杂的事务(行级的事务)HBase中支持的数...原创 2020-03-25 11:34:52 · 353 阅读 · 0 评论