HBASE
吃鱼的羊
这个作者很懒,什么都没留下…
展开
-
顺序访问 VS 随机访问
hdfs不能对文件做修改,但可以append,hbase的做法是对旧版本数据做disable处理,将新数据追加到hfile里面。hive也是只能对自己的orc存储格式才能做update,底层实际也是追加操作。对于txt,lzo这种就没办法了。顺序访问的数据是连续的。硬盘的磁头是按一定的顺序访问磁片,磁头不做频繁的寻道,这样带来的结果是速度很快。因为寻道时间是影响磁盘读写速度的主要原因。在平常的...转载 2018-08-09 11:11:35 · 6577 阅读 · 0 评论 -
HDFS只支持文件append操作, 而依赖HDFS的HBase如何完成增删改查功能
1. HDFS的文件append功能早期版本的HDFS不支持任何的文件更新操作,一旦一个文件创建、写完数据、并关闭之后,这个文件就再也不能被改变了。为什么这么设计?是为了与MapReduce完美配合,MapReduce的工作模式是接受一系列输入文件,经过map和reduce处理,直接产生一系列输出文件,而不是在原来的输入文件上做原位更新。为什么这么做?因为直接输出新文件比原位更新一个旧文件高效...转载 2018-08-09 11:12:25 · 1412 阅读 · 0 评论 -
HBase性能优化方法总结
本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,这里涉及的不多,这部分可以参考:。 1. 表的设计 1.1 Pre-Creating Regions 默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直到这个region足够大...转载 2018-08-09 11:14:51 · 413 阅读 · 0 评论 -
Phoenix 介绍和基本用法
https://blog.csdn.net/naioonai/article/details/80680023Phoenix是构建在HBase上的一个SQL层,能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表,插入数据和对HBase数据进行查询。Phoenix完全使用Java编写,作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多...转载 2019-07-19 10:36:05 · 1621 阅读 · 0 评论 -
Phoenix 简单介绍
https://blog.csdn.net/carolzhang8406/article/details/79455684https://www.cnblogs.com/ballwql/p/8371234.html1. Phoenix定义Phoenix最早是saleforce的一个开源项目,后来成为Apache基金的顶级项目。Phoenix是构建在HBase上的一个SQL层,能让我...转载 2019-07-19 11:12:29 · 438 阅读 · 0 评论 -
Hadoop、Hbase伪分布式安装
--原文https://segmentfault.com/a/1190000011987614--hadoop+hbase部署,phoeni的安装和使用(一)https://www.jianshu.com/p/4a15fc0e6b38--Hadoop2.7.2 HBase2.0.0环境搭建 分布式安装https://blog.csdn.net/huaishu/article/d...转载 2019-07-22 18:54:23 · 311 阅读 · 0 评论 -
Phoenix5.0 安装部署与使用
https://blog.csdn.net/liubenlong007/article/details/96858204文章目录概述Phoenix5.0 shell 安装Phoenix5.0 shell 使用使用Phoenix操作表phoenix shell下创建view映射hbase表退出Phoenixpsql.py创建表导入数据计数平均值聚合SQuirrel...转载 2019-07-26 17:41:47 · 1306 阅读 · 0 评论