大数据之hbase
学习 总结 笔记
白眼黑刺猬
技术分享 ,线上线下授课
微信 17710299606
展开
-
hbase之shell客户端命令详解
1 HBASE shell指令详解 start-hbase.sh hbase shell help 查看系统支持的所有的命令 help 'CMD' 查看命令的详细帮助文档 1.1general Commands: processlist, status, table_help, version, whoami ] hbase(main):004:0> version 2.2.5, rf76a601273e834267b55c0cda12474590283f...原创 2020-12-25 15:03:26 · 389 阅读 · 0 评论 -
多易教育17期课堂笔记--Hbase---数据导入Hbase详解
1 Put 直接将数据导入到Hbase中 , 底层使用RPC请求 , 每次put都会RPC请求,效率并不高 2 BufferedMutator 使用缓存批次的形式发送RPC请求 , 减少RPC的请求次数 , 插入数据的效率会比put方式效率高, 但是对于大量的静态数据也并不适合! 3 BulkLoad 3.1 shell脚本方式 3.2 Java程序方式 ...原创 2020-08-30 13:29:33 · 697 阅读 · 0 评论 -
多易教育17期课堂笔记--Hbase---shell客户端02
1namespace 名称空间 ; 类似于数据库中的database alter_namespace 修改 create_namespace 创建名称空间 describe_namespace 查看信息 drop_namespace 删除 list_namespace 列表 list_namespace_tables 名称空间下的表 1.1create_namespace create_namespace 'doit' Took 0.6287 seconds .原创 2020-08-27 17:15:51 · 1429 阅读 · 0 评论 -
多易教育17期课堂笔记--Hbase---shell客户端01
hbase shell 1 DDL 在hbase中没有database的概念使用namespace替代database的作用 1.1 建表 create (指定列族) create "tb_user" , "cf" -- 创建表 指定一个列族 create 'tb_user2' ,'cf1' ,'cf2' ,'cf3' --指定多个列族 create "tb_user3" , {NAME=>'info1' ,VERSIONS=>3,TTL=>240} 设置3个数据...原创 2020-08-27 15:00:42 · 2061 阅读 · 0 评论 -
Hbase详细笔记五-[过滤器](附带讲解视频)
1 简介 Hbase提供了种类丰富的过滤器(filter)来提高数据处理的效率,用户可以通过内置或自定义的过滤器来对数据进行过滤,所有的过滤器都在服务端生效,即谓词下推(predicate push down)。这样可以保证过滤掉的数据不会被传送到客户端,从而减轻网络传输和客户端处理的压力。 1.1 Filter接口和FilterBase抽象类 Filter接口中定义了过滤器的基本方法,FilterBase抽象类实现了Filter接口。所有内置的过滤器则直接或者间接继承自FilterBase抽..原创 2020-06-20 18:02:45 · 3031 阅读 · 0 评论 -
Hbase详细笔记五-[原理加强](附带讲解视频)
1 本章目录 负载均衡 快照 拆分 数据存储 合并 刷写 读数据流程 写数据流程 热点问题 row设计 批量导入 协处理器 1 负载均衡 由Master的LoadBalancer线程周期性的在各个RegionServer间移动region维护负载均衡。 1 经常被并发查询的数据不要存储在同一个RegionServer中 , 避免热点读取问题 . 2 当一个机器上经过大量的插入或者删除数据以后 ,region合并或者分裂 ,那么机器上的region的数量会相差很大 . 3原创 2020-06-13 13:15:07 · 7410 阅读 · 1 评论 -
Hbase详细笔记四[JAVA-API] (附带讲解视频)
1 创建Maven项目 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apac原创 2020-06-12 12:00:34 · 2365 阅读 · 4 评论 -
Hbase详细笔记三[shell客户端] (附带讲解视频)
1 本节目录 基本命令 DDL命令 DML命令 namespace命令 高级命令 hbase和HDFS类似也提供了shell端操作指令和java客户端API 进入大hbase的客户端 hbase shell 例举出系统中所支持的所有的指令 help 查看某个命令的详细使用说明 help "command" [root@linux01 ~]# hbase shell SLF4J: Class path contains multipl...原创 2020-06-11 16:59:29 · 2117 阅读 · 1 评论 -
Hbase详细笔记二[安装部署] (附带讲解视频)
章节目录 Hbase安装环境准备 hbase安装详细步骤 Hasee启停 1 Hbase安装环境准备 准备集群,集群中配置JDK环境 安装部署ZooKeeper集群并启动 集群节点时间同步 手动设置 : date -s "2020-06-10 11:11:00" 连接时间服务器 : ntpdate 0.asia.pool.ntp.org HDFS集群正常运行 2 hbase安装详细步骤 1上传解压 [root@li...原创 2020-06-10 18:57:52 · 2241 阅读 · 1 评论 -
Hbase详细笔记一[简介] (附带讲解视频)
笔记结构 什么是Hbase hbase能做什么 hbase架构设计 核心概念 1 什么是Hbase HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化和非结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不原创 2020-06-10 13:07:54 · 1678 阅读 · 1 评论