bigdata_08_即席查询
文章平均质量分 80
即席查询
最佳第六六六人
一只威武的大数据架构攻城狮
展开
-
Clickhouse总结
Clickhouse总结Q1: 选择ClickHouse的原因是什么? --(1)采用列式存储 ①在数据存储方面更容易进行数据压缩。节省磁盘空间。 ②在一些聚合计算、计数、求和等操作效率更高。 ③标准化的SQL语句,几乎覆盖所有SQL标准语法。 ④多样化引擎,可以根据不同的需求,给表设置不同的引擎,常用的有MergeTree系列 我们用的是ReplacingMergeTree,可以保证数据表的幂等性 ⑤高吞吐写入能力 Cli原创 2021-04-17 14:54:39 · 401 阅读 · 0 评论 -
ClickHouse操作指南
1 ClickHouse简介clickhouse是俄罗斯Yandex于2016年开源的列式存储数据库,使用C++语言编写,主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告。1.1 ClickHouse特点1.1.1 列式存储以下面的表为例:IdNameAge1张三182李四223王五34(1)采用行式存储,数据在磁盘上的组织结构为:优点是:向查询某个人的所有属性的时候,可以通过一次磁盘查找加顺序读取就可以。但是要原创 2021-04-06 13:31:17 · 2319 阅读 · 0 评论 -
ElasticSearch操作指南
1 ElasticSearch简介ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎。是使用Java开发的。1.1 使用场景为用户提供关键字查询的全文搜索功能。实现企业海量数据的处理分析。ELK框架(ElasticSearch、Logstash、Kibana)作为OLAP数据库,对数据进行统计分析。OLTP:联机事务处理,是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,如银行交易。OLAP:联机分析处理,是数原创 2021-01-12 23:07:18 · 1378 阅读 · 0 评论 -
bigdata_12_即席查询_Presto操作指南
1 Prosto简介Presto是一个开源的、分布式SQL查询引擎、数据量支持GB到PB,主要用来处理秒级查询。虽然Presto可以解析SQL,但它不是一个标准的数据库,不是MySQL的替代品,也不能用来处理在线事务。1.1 Prosto架构**Presto CLI **:Presto客户端,将执行的SQL发送给Presto CoordinatorPresto Coordinator:Presto协调器,接受客户端发来的SQL解析成任务发送给PrestoWorker去执行Presto Wor原创 2021-01-17 23:49:29 · 943 阅读 · 0 评论 -
bigdata_12_即席查询_Kylin操作指南
1 Kylin简介Kylin是 Apache开源的分布式分析引擎,提供Hadoop、Spark、Flink之上的的SQL查询接口和**多维分析(OLAP)**能力,支持超大规模数据。即席查询有两种:Kylin是 预计算。Presto是 基于内存1.1 OLAPOLAP(online analytical processing)是一种软件技术,使分析人员能够迅速、一致、交互的从各个方面观察讯息,OLAP也称为多维分析!OLAP分为两种:ROLAP和MOLAPROLAP(Relational原创 2021-01-17 23:47:59 · 576 阅读 · 0 评论