大数据相关框架

Apache Flink 是由 Apache 软件基金会开发的开源流处理框架，其核心是用 Java 和 Scala

编写的分布式流数据流引擎。 Flink 以数据并行和流水线方式执行任意流数据程序， Flink 的

流水线运行时系统可以执行批处理和流处理程序。

Apache Flink: Stateful Computations over Data Streamshttps://flink.apache.org/

Kafka 是由 Apache 软件基金会 开发的一个开源流处理平台，由 Scala 和 Java 编写。 Kafka

是一种高吞吐量的 分布式 发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据 。

Apache KafkaApache Kafka: A Distributed Streaming Platform.https://kafka.apache.org/

HBase 是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的 Google

论文 “Bigtable ：一个结构化数据的 分布式存储系统 ” 。就像 Bigtable 利用了 Google 文件系

统（ File System ）所提供的分布式数据存储一样， HBase 在 Hadoop 之上提供了类似于

Bigtable 的能力。 HBase 是 Apache 的 Hadoop 项目的子项目。 HBase 不同于一般的关系

数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是 HBase 基于列的而

不是基于行的模式 。

Apache HBase – Apache HBase™ Homehttps://hbase.apache.org/

hive 是基于 Hadoop 的一个 数据仓库 工具，用来进行数据提取、转化、加载，这是一种可以

存储、查询和分析存储在 Hadoop 中的大规模数据的机制。 hive 数据仓库工具能将结构化

的数据文件映射为一张数据库表，并提供 SQL 查询功能，能将 SQL 语句 转变成 MapReduce

任务来执行 。

Apache Hivehttps://hive.apache.org/

Elasticsearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜

索引擎，基于 RESTful web 接口。 Elasticsearch 是用 Java 语言开发的，并作为 Apache 许

可条款下的开放源码发布，是一种流行的企业级搜索引擎。 Elasticsearch 用于 云计算 中，能

够 达 到 实 时 搜 索 ， 稳 定 ， 可 靠 ， 快 速 ， 安 装 使 用 方 便 ( 摘 自 百 度 百 科 ) 。

免费且开放的搜索：Elasticsearch、ELK 和 Kibana 的开发者 | Elastichttps://www.elastic.co/cn/