![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 88
介绍大数据相关技术
ypcouc
格物致知-知行合一
展开
-
Hbase数据导入导出与批量写入
我们都知道Hbase数据进容易,到想大批量导出有点难,这和hbase特性有关,它不支持大范围数据scan。下面介绍几种Hbase数据导出方式,和hbase数据批量写入方式。原创 2021-03-21 18:12:44 · 1200 阅读 · 1 评论 -
ElasticSearch详解
Elasticsearch全称叫全文搜索引擎,简称ES,一个分布式可扩展的实时搜索和分析引擎,一个建立在搜索引擎 Apache Lucene(TM) 基础上的搜索引擎。Elasticsearch 也是使用 Java 编写的,它的内部使用 Lucene 做索引与搜索,但是它的目的是使全文检索变得简单。Elasticsearch 不仅仅是 Lucene,并且也不仅仅只是一个全文搜索引擎。 它可以被下面这样准确的形容:1、一个分布式的实时文档存储,每个字段可以被索引与搜索2、一个分布式实时分析搜索引擎原创 2021-03-16 23:26:18 · 1322 阅读 · 0 评论 -
phoenix使用详解
phoenix和hive类似,它也是一个工具,hive是在hadoop之上,phoenix是在hbase之上,也是Apache基金的顶级项目。phoenix是构建在HBase上的一个SQL层,能让我们用标椎的JDBC APIs而不是HBase客户端APIs来创建表、和对HBase数据进行CRUD。Phoenix完全使用java编写,作为HBase内嵌的JDBC驱动,Phoenix查询引擎会将SQL查询转换为一个或多个HBse扫描。原创 2021-03-13 23:39:18 · 5045 阅读 · 0 评论 -
java应用连接HBase
Java应用连接HBase介绍一种java应用使用Hbase Client连接hbase方式,实现对hbase CRUD。使用SpringBoot项目,用HbaseTemplate的API实现对Hbase的操作,对HbaseTemplate的API做了二次封装,更为方便调用。使用hbase版本:1.1.11、 Maven引入jar包<!-- HBase --> <dependency> <groupId>org.apach原创 2021-03-12 21:34:52 · 1065 阅读 · 0 评论 -
HBase详解
Hbase它是一个数据库,一个支持大容量存储且支持高效率实时查询的数据库。在这个数据爆炸的时代,面临海量数据实时高效查询是不可避免的,Hadoop支持海量数据存储,但它不支持低延迟高效查询,于是乎有了Hbase。专业一点定义,HBase是Google BigTable的开源实现版,是建立在Hadoop HDFS之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于NoSql和RDBMS之间,仅能通过主键(rowKey)和主键的range来检索数据,仅支持单行事务,主要用来存储非结构化和半原创 2021-03-11 22:52:54 · 2570 阅读 · 4 评论 -
hive详解
一、Hive简介hive是什么?“赖人改变世界”,这是我一直坚信的理念。并不是提倡大家偷懒,而是要有赖人的思想,要想尽一切办法来减少自己的工作量,减少重复劳动力,提高生产效率。没有hive之前,作为程序猿需要对hadoop有详细的了解,要写复杂的MapReduce开发难度相当大,以及掌握MapReduce运行机制原理等等。对于一个新手来说使用Hadoop的学习成本、以及使用成本都非常高,出于这些原因,于是乎聪明赖堕的程序猿创造了Hive。简单的说,hive是一种数据仓库工具。在Hadoop之上,提供两原创 2021-03-09 21:13:31 · 415 阅读 · 3 评论 -
Hadoop基础简介
Hadoop 是一个分布式系统,由Apache基金会用java开发。在这个数据爆炸的年代,单设备难以存储海量的数据,如是有了Hadoop。Hadoop可以使用廉价的机器来存储我们的数据,大大减少了成本。原创 2021-03-06 20:54:12 · 920 阅读 · 1 评论