clickhouse hadoop_Clickhouse最佳实战之ClickHouse概述

一、背景

大数据现状的痛点及解决方案

提到大数据不得不提 Hadoop，当下的 Hadoop 已不仅仅是当初的HDFS + MR(MapReduce) 这么简单。基于 Hadoop 而衍生的 Hive、Pig、Spark、Presto、Impala 等一系列组件共同构成了 Hadoop 生态体系。Hadoop 生态为今天的大数据领域提供着稳定可靠的数据服务。Hadoop 生态体系解决了大数据界的大部分问题，当然其也存在缺点。Hadoop 体系的最大短板在于数据处理时效性。基于 Hadoop 生态的数据处理场景大部分对时效要求不高，按照传统的做法一般是 T + 1 的数据时效。即 Trade + 1，数据产出在交易日 + 1 天。ClickHouse 的产生就是为了解决大数据量处理的时效性。

关键词：时效性、实时大数据分析处理

二、概述

ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告

关键词：Yandex搜索引擎公司、列式存储数据库、主要用于在线分析（OLAP）、使用SQL查询实时生成数据分析报告

1、OLAP的应用场景

(1)、绝大数请求都是读取访问权限

(2)、数据以相当大得批次（>1000行࿰