![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hbase
贫僧洗头爱飘柔
这个作者很懒,什么都没留下…
展开
-
Hbase基础与原理详解
Hbase简介1.1 Hbase的含义 HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。是Apache软件基金会的Hadoop项目的一部分,运行于HDFS文件系统之上,因此可以容错地存储海量稀疏的数据。 HBase是一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模...原创 2018-03-28 23:16:05 · 2024 阅读 · 0 评论 -
Hbase环境搭建
0. 软件版本下载http://mirror.bit.edu.cn/apache/hbase/1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载软件包#Masterwget http://archive.apache.org/dist/hbase/0.98.24/hbase-0.98.24-hadoop1-bi...原创 2018-04-26 15:07:27 · 961 阅读 · 0 评论 -
Hbase Shell API与过滤器实践
(一)Hbase Shell1、hbase提供了一个shell的终端给用户交互#$HBASE_HOME/bin/hbase shell2、如果退出执行quit命令>quit3、查看数据库状态(status)– 表示有3台机器活着,0台机器down掉,当前负载0.67(数字越大,负载越大)4、执行help查询帮助 – General:普通命令组 – Ddl:数据定义语言命令组 ...原创 2018-04-26 17:12:49 · 957 阅读 · 0 评论 -
Hbase性能优化
1. 修改Linux最大文件数Linux系统最大可打开文件数一般默认的参数值是1024,如果你不进行修改并发量上来的时候会出现“Too Many Open Files”的错误,导致整个HBase不可运行查看:ulimit -a 结果:openfiles (-n) 1024临时修改: ulimit -n 4096持久修改:vi /etc/security/limits.conf在文件最后加上...原创 2018-04-26 17:14:41 · 302 阅读 · 0 评论 -
Hbase数据的不同版本号
1. 查看在HBase中一个row对应的相同的列只会有一行。使用scan 或get 得到都是最新的数据,如果我们对这某一row所对应的列进行了更改操作后,并不会多生成一条数据,不会像数据库一样,插入时多生成一条记录,在HBase中对同一条数据的修改或插入都只是put操作,最终看到的都是最新的数据,其它的数据在不同的version中保存,默认是隐藏的,通过时间戳区分,Hbase默认保存最近的三个版...原创 2018-04-26 17:17:52 · 7163 阅读 · 0 评论 -
大数据面试、笔试题收集
给定a、b两个文件,各存放50亿个url,每个url各占用64字节,内存限制是4G,如何找出a、b文件共同的url?题目描述:给定a、b两个文件,各存放50亿个url,每个url各占用64字节,内存限制是4G,如何找出a、b文件共同的url? 分析:我们先来看如果要把这些URL全部加载到内存中,需要多大的空间。1MB = 2^20 = 10^6 = 100W1GB = 2^30 = 10^9 =...原创 2018-05-14 22:29:41 · 945 阅读 · 0 评论