spark1.0和2.0的区别_Apache Spark 2.2.0新特性详细介绍

Apache 《Apache Spark 2.2.0正式发布》文章中过多地介绍 Apache

这个版本是 Structured Streaming 的一个重要里程碑，因为其终于可以正式在生产环境中使用，实验标签(experimental tag)已经被移除。在流系统中支持对任意状态进行操作；Apache Kafka 0.10 的 streaming 和 batch API支持读和写操作。除了在 SparkR, MLlib 和 GraphX 里面添加新功能外，该版本更多的工作在系统的可用性(usability)、稳定性(stability)以及代码的润色(polish)并解决了超过 1100 个tickets。

如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：iteblog_hadoop

这篇文章中将详细介绍这些新特性，包括：Structured Streaming的生产环境支持已经就绪；

扩展 SQL 的功能；

R 中引入了新的分布式机器学习算法；

MLlib 和 GraphX 中添加了新的算法

Structured Streaming

Structured Streaming 是从 Spark 2.0 开始引入的，其提供了高层次的API来构建流应用程序；目的是提供一种简单的方式来构建端到端的流应用程序(end-to-end streaming applications)，提供了一致性保证和容错方式。

从 Spark 2.2.0 开始，Structured Streaming 已经为生产环境的支持准备就绪，除了移除了实验性标签，还包括了一些高层次的变化，比如