![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hbase
我不是李寻欢
百转千折落人间,身披绶带赛玉泉;
婀娜生姿门前客,飞驰化做林中仙.
展开
-
Hbase过滤器
ValueFilter:值过滤器精确查找scan 'ns1:user', FILTER=>"ValueFilter(=,'binary:wangwu')"ROW COLUMN+CELL 1000C column=info:name, timestamp=1488原创 2017-08-15 22:04:13 · 324 阅读 · 0 评论 -
Hbase孽畜不宜过多
列族不宜过多的原因在于:当需要flush时候是对region的所有的列族进行刷新,会将上图中的三个MemStore同时刷新,这样的刷新会消耗CPU内存以及磁盘IO,当regionServer中数据越大的时候,这种CPU的消耗会越明显.原创 2017-08-15 09:05:16 · 333 阅读 · 0 评论 -
Hbase 存储读写机制
一、HBase的存储三个机制【关键字:flush[刷新] compaction(minor major)【合并】 split【切分】】1.一张表被划分成很多region,交给不同的regionserver管理2.Hbase表根据rowkey划分成多个region 默认region大小是256M,分布式存储和负载均衡的最小单位 =》数据增加,在超过阈值(256原创 2017-08-15 08:21:17 · 465 阅读 · 0 评论 -
Hbase单机版测试
Hbase单机模式测试:启动 HBase现在启动HBase:$./bin/start-hbase.sh现在你运行的是单机模式的Hbaes。所有的服务都运行在一个JVM上,包括HBase和Zookeeper。HBase的日志放在logs目录,当你启动出问题的时候,可以检查这个日志。Shell练习用shell连接你的HBase$ ./bin/hbase sh原创 2017-08-12 12:00:12 · 775 阅读 · 0 评论 -
Hbase框架简介
HBase ORM框架概念:HBase是一个构建在 Apache Hadoop和 Apache ZooKeeper之上面向列存储、的分布式数据库.HBase是一个针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列存储的动态模式数据库。 和传统关系数据库不同,HBase采用了BigTable的数据模型:增强的稀疏排序映射表(Key/Value),其中,键由行关键字、列关键原创 2017-08-12 09:05:22 · 594 阅读 · 0 评论 -
Hbase 集群维护
集群维护手动flushhbase> flush 'REGIONNAME'> flush 't2,''482129525576.b9de5c52a9c3fb4580ee9cacb6520e7f'日常维护:1,flush 'testtable',将所有memstore刷新到hdfs,通常如果发现regionserver的内存使用过大,造成该机的 regionserver很多原创 2017-08-16 20:32:33 · 510 阅读 · 0 评论 -
15分钟了解Apache Phoenix(HBase的开源SQL引擎)
什么是Phoenix?Phoenix是一个Hbase的开源SQL引擎。你可以使用标准的JDBC API代替hbase客户端API来创建表,插入数据,查询你的HBase数据。不要在我的程序和HBase之间增加额外的层,它只会拖慢速度的?事实上,不会。Phoenix通过以下方式实现了比你自己手写的方式相同或者可能是更好的性能(更不用说可以少写了很多代码): * 编译你的SQ转载 2017-08-16 20:25:42 · 934 阅读 · 0 评论 -
Hbase的表属性①
一)、1.namespace //相当于databasesnamespace databases-》tables 》tables默认情况下有两个命令空间》default默认不指定命令空间的表都放在此命令空间下》hbasemeta //存放元数据namespace //存放命令空间2.hbase 使用h原创 2017-08-15 21:52:49 · 2262 阅读 · 0 评论 -
Hbase列属性详解
DESCRIPTION ENABLED 'ns1:season', {NAME => 'autumn', DATA_BLOCK_ENCODING => 'NONE',BLOOMFILT原创 2017-08-16 19:19:07 · 4601 阅读 · 1 评论 -
HBase分布式搭建
HBase分布式搭建(cdh/apache版本与hadoop集群版本要一致)=================================HBase==================PC01PC02 PC03ZooKeeper ZooKeeperZooKeeperNameNode NameNodeDateNode DateNodeDateNode原创 2017-08-16 18:38:14 · 258 阅读 · 0 评论 -
Hbase表属性②
HBase表属性(续)1.版本:创建多版本的表create 'testVersion', {NAME => 'f1', VERSIONS => 5}put 'testVersion','xxx@163.com','f1:emailetitle','gf'put 'testVersion','xxx@163.com','f1:emailetitle','bf'put原创 2017-08-16 18:35:50 · 607 阅读 · 0 评论 -
Hbase 调优
HBase调优swap虚拟内存调小GC执行的时间要小于zk和regionserver之间的最大超时时间如果GC执行的时间大于zk和regionserver之间的最大超时时间,zk就会认为regionserver挂了,此时,master会将regionserver上的region分配到其他的server上。客户端的优化(API) (1)Auto Flush默认是开启的,可原创 2017-08-16 18:24:47 · 333 阅读 · 0 评论 -
HBase与MapReduce整合/HBase和Hive整合 nosql/HBase与 Sqoop整合
一、HBase与MapReduce整合如何将海量数据导入到HBase表开发MapReduce程序HBase与MapReduce整合## tsv格式的文件:用制表符‘\t’分割字段形成的文件## csv格式的文件:用逗号','分割的字段形成的文件##将HDFS上面的文件数据直接导入到Hbase1.启动hbase 2)创建原创 2017-08-15 22:02:35 · 456 阅读 · 0 评论