涂作权的博客

成功就是将个人潜能发挥到极限!&&以大多数人的努力程度之低,根本还轮不到拼天赋!...

排序:
默认
按更新时间
按访问量
RSS订阅

phoenix+hbase+Spark整合,Spark处理数据操作phoenix入hbase,Spring Cloud整合phoenix

1 版本要求 Spark版本:spark-2.3.0-bin-hadoop2.7 Phoenix版本:apache-phoenix-4.14.1-HBase-1.4-bin HBASE版本:hbase-1.4.2 上面的版本必须是对应的,否则会报错 2 Phoenix + HBase + S...

2019-03-19 09:53:31

阅读数 721

评论数 1

Phoenix二级索引(Secondary Indexing)的使用(转:https://www.cnblogs.com/MOBIN/p/5467284.html)

摘要 HBase只提供了一个基于字典排序的主键索引,在查询中你只能通过行键查询或扫描全表来获取数据,使用Phoenix提供的二级索引,可以避免在查询数据时全表扫描,提高查过性能,提升查询效率 测试环境: 数据约370万 数据格式:(数据来自搜狗实验室) 三节点集群(一主两从,hadoop和HBa...

2018-11-27 17:21:36

阅读数 4428

评论数 0

Hive 整合Hbase(来自学习资料--博学谷)

1、摘要 Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。 2、应用场景 2.1 将ETL操作的数据存入HBase 2.2 HBase作为H...

2018-08-08 12:58:36

阅读数 564

评论数 0

使用Phoenix连接HBASE,squirrel使用,代码连接使用Phoenix

1 使用Phoenix连接HBASE 1.1 什么是Phoenix? phoenix,中文译为“凤凰”,很美的名字。Phoenix是由saleforce.com开源的一个项目,后又捐给了Apache基金会。它相当于一个Java中间件,提供jdbc连接,操作hbase数据表。Phoen...

2018-08-08 12:43:04

阅读数 1967

评论数 1

我理解的HBSE应用场景(交流篇)

1、数据量极大,并且要去实时查询的业务场景使用这个才会提现真正的应用价值。 2、若数据量没有到亿级别的实时查询,觉得用这个HBASE有些大材小用的感觉。,暂时没有达到亿级别,但是数据量增长特别快,能够很快的时间达到相应的量级,这时候用这个似乎更好一些 3、若使用数据库,亿级别这些,分库分表,索...

2018-06-18 18:37:25

阅读数 415

评论数 0

Hbase的应用场景、原理及架构分析(转:https://blog.csdn.net/xiangxizhishi/article/details/75388971)

Hbase概述 hbase是一个构建在HDFS上的分布式列存储系统。HBase是Apache Hadoop生态系统中的重要 一员,主要用于海量结构化数据存储。从逻辑上讲,HBase将数据按照表、行和列进行存储。 如图所示,Hbase构建在HDFS之上,hadoop之下。其内部管理的文件全部...

2018-06-18 18:31:05

阅读数 95

评论数 0

HBase建表高级属性,hbase应用案例看行键设计,HBase和mapreduce结合,从Hbase中读取数据、分析,写入hdfs,从hdfs中读取数据写入Hbase,协处理器和二级索引

1. Hbase高级应用1.1建表高级属性下面几个shell 命令在hbase操作中可以起到很到的作用,且主要体现在建表的过程中,看下面几个create 属性1、 BLOOMFILTER 默认是NONE 是否使用布隆过虑及使用何种方式 布隆过滤可以每列族单独启用。 使用 HColumnDe...

2017-06-25 00:26:22

阅读数 1655

评论数 0

hbase系统架构图以及各部分的功能作用,物理存储,HBase寻址机制,读写过程,Regin管理,Master工作机制

1.1 hbase内部原理1.1.1 系统架构 Client 1 包含访问hbase的接口,client维护着一些cache来加快对hbase的访问,比如regione的位置信息。Zookeeper 1 保证任何时候,集群中只有一个master 2 存贮所有Region的寻址入口—-roo...

2017-06-24 23:53:03

阅读数 2259

评论数 0

Java连接HBASE数据库,创建一个表,删除一张表,修改表,输出插入,修改,数据删除,数据获取,显示表信息,过滤查询,分页查询,地理hash

准备工作 1、创建Java的Maven项目 创建好的目录结构如下: 另外注意junit的版本,最好不要太高,最开始笔者使用的junit4.12的,发现运行的时候会报错。最后把Junit的版本改成4.7的之后,问题解决了。创建测试工具类HbaseDemo,为了保证能够让HBASE运行,需要最开...

2017-06-23 17:46:56

阅读数 1565

评论数 0

hbase的shell命令行方式操作

进入hbase命令行 cd /home/tuzq/software/hbase-1.3.1/bin ./hbase shell 查看帮助 显示hbase中的表 List(列出你有哪些表) 创建user表,包含info、data两个列族 create ‘user’, ‘...

2017-06-23 16:23:10

阅读数 3474

评论数 0

hbase集群搭建,hbase单个节点重启

1.1 hbase集群结构 REGION:是HBASE中对表进行切割的单元 HMASTER: HBASE的主节点,负责整个集群的状态感知,负载分配、负责用户表的元数据管理 (可以配置多个用来实现HA) 为regionserver分配region,负责regionserver负载均衡 ...

2017-06-22 13:27:12

阅读数 1606

评论数 0

hbase数据库介绍,HBASE的特点,表结构逻辑视图,Row Key,列族,时间戳,Cell

HBASE数据库1. Hbase基础1.1 hbase数据库介绍1、简介nosqlhbase是bigtable的开源java版本。是建立在hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系+ 统。 它介于nosql和RDBMS之间,仅能通过主键(row key)和...

2017-06-22 10:55:32

阅读数 2655

评论数 0

提示
确定要删除当前文章?
取消 删除