Hbase
文章平均质量分 90
镜子里的宇宙
这个作者很懒,什么都没留下…
展开
-
Hbase优化
Hbase优化Hbase优化:内存分配Hbase优化:压缩机制Hbase优化:布隆过滤Hbase优化:列族属性Hbase优化:其他优化 Hbase优化:内存分配 目标 了解Hbase中内存的管理及分配 分析 写缓存:Memstore 读缓存:BlockCache 使用的RegionServer的JVM堆内存 注意:所有使用JVM堆内存工具,都会有一个共同的问题:GC停顿 合理设计垃圾回收的机制来回收内存,避免GC停顿 实现 MemStore:写缓存 hbase.regionse原创 2021-03-26 15:18:05 · 250 阅读 · 0 评论 -
MapReduce集成Hbase
MapReduce集成HbaseMR集成Hbase:读Hbase规则MR集成Hbase:读Hbase实现MR集成Hbase:写Hbase规则MR集成Hbase:写Hbase实现附录一:Maven依赖 MR集成Hbase:读Hbase规则 目标 掌握MapReduce中读取Hbase的开发规则 分析 读取由InputFormat决定 TextInputFormat:读取文件中的内容,每一行返回一个KV K:行的偏移量:LongWritable V:行的内容值:Text TableIn原创 2021-03-26 15:13:22 · 242 阅读 · 0 评论 -
Hbase理论知识点概要
Hbase理论知识点概要问题01:Hbase的功能与应用场景?问题02:Hbase有什么特点?问题03:Hbase设计思想是什么?问题04:Hbase与HDFS的区别是什么?问题05:Hbase与MySQL的区别是什么?问题06:Hbase与Hive的区别是什么?问题07:Hbase的按列存储是什么?问题08:请简述Namespace、Rowkey、ColumnFamily及多版本的功能及含义问题09:请简述Hbase的分布式主从架构问题10:请简述Table表与RegionServer的关系问题11:表的原创 2021-03-25 17:06:22 · 505 阅读 · 0 评论 -
Phoenix
PhoenixPhoenix的介绍Phoenix的安装配置Phoenix的语法:DDL:NSPhoenix的语法:DDL:TablePhoenix的语法:DML:upsertPhoenix的语法:DML:delete## Phoenix的语法:DQL:selectPhoenix的使用:预分区Phoenix的使用:加盐saltPhoenix的使用:视图Phoenix的使用:JDBCPhoenix二级索引设计二级索引:全局索引设计二级索引:全局索引实现二级索引:覆盖索引设计二级索引:覆盖索引实现二级索引:本地索原创 2021-03-25 17:04:57 · 523 阅读 · 0 评论 -
Hive on Hbase
Hive on HbaseHive on Hbase介绍Hive on Hbase 配置Hive on Hbase 实现 Hive on Hbase介绍 功能:实现Hive与Hbase集成,使用Hive SQL对Hbase的数据进行处理 原理 Hive的功能:使用HQL对表的数据进行处理 本质:通过MapReduce对HDFS中的文件进行处理 原理 TextInputFormat:读文件 TextOutputFormat:写文件 MapReduce的功能:读取数据进行原创 2021-03-25 16:41:10 · 989 阅读 · 0 评论 -
Hbase DML、DDL命令 JavaAPI
Hbase DML、DDL命令 JavaAPIHbase理论Hbase使用场景Hbase运行命令脚本文件DDL命令:NS的管理DDL命令:Table的管理DML命令:putDML命令:getDML命令:scanDML命令:deleteDML命令:incrDML命令:countJavaAPI:构建工程依赖JavaAPI:DDL Hbase理论 Hbase的介绍 功能:分布式NoSQL列存储数据库,用于实现大数据高性能的实时随机的数据存储 应用场景:所有实时数据存储的场景 特点 分布式内存 + 分布式磁原创 2021-03-17 18:05:53 · 679 阅读 · 0 评论 -
Hbase集群搭建
Hbase集群搭建集群搭建HBASE集群测试 集群搭建 以三台虚拟机为例 1、解压安装 上传HBASE安装包到第一台机器的/export/software目录下 cd /export/software/ 解压安装 tar -zxvf hbase-2.1.0.tar.gz -C /export/server/ cd /export/server/hbase-2.1.0/ 2、修改配置 切换到配置文件目录下 cd /export/server/hbase-2.1.0/conf/ 修改h原创 2021-03-17 17:19:22 · 127 阅读 · 0 评论 -
Hbase理论
Hbase理论离线与实时HBASE诞生Hbase功能及应用场景HBASE设计思想HBASE中的对象概念HBASE中的存储概念HBASE中的按列存储HBASE集群架构 离线与实时 离线项目为例 数据生成:用户访问咨询数据、意向用户报名信息、考勤信息 数据采集 Flume:实时数据采集:采集文件或者网络端口 Sqoop:离线数据同步:采集数据库的数据 数据存储 HDFS:分布式离线文件存储系统 Hive:离线数据仓库 将HDFS上的文件映射成了表的结构,让用户可以通过数据库和表的形式来管理大数据原创 2021-03-17 17:10:22 · 555 阅读 · 0 评论