pyspark 读取 redis数据_Redis，Apache Spark 和 Python 入门

Apache Spark 是创建分布式数据处理管道最受欢迎的框架之一，在这篇博文中，我们将介绍在使用 Spark 时如何结合 Redis 用作计算的数据存储库。Spark 的主要功能是管道(Java，Scala，Python 或 R 脚本)可以在本地(用于开发)和集群上运行，而无需更改任何源代码。

Spark 通过巧妙地使用延迟计算或在某些情况下称为惰性来提供这种灵活性。一切都始于类RDD，DataFrame 和更新的 Dataset，它们分别是数据的分布式惰性表示。他们使用分布式文件系统，数据库或其他类似服务作为实际的存储后端。他们的操作(例如map / select，filter / where 和 reduce / groupBy)并没有真正地执行计算。每个操作都会在执行计划中添加一个步骤，该步骤最终会在需要实际结果时再(例如，尝试将其打印到屏幕上时)运行。

在本地启动脚本时，所有计算都在计算机上进行。或者，在分布式集群上启动时，您的数据将被分区到不同的节点上。(在大多数情况下)Spark 集群中并行执行相同的操作。

关于 RDD，DataFrame 和数据集

随着时间的推移，Spark 开发了三种不同的 API 来处理分布式数据集。尽管每个新添加的功能都比以前增加了更多功能，但是没有哪个 API可以完全替代以前的功能。按创建顺序(从最早到最新)，总体概述如下：

• RDD 提供了用于将编译时类型安全操作应用于数据的底层方法。使用 RDD，您可以在代码中表达“事情如何发生”，而不是采用声明性方法。
• DataFrame 引入了一种类 SQL 的方法来表达计算(它甚至支持实际的 SQL 查询)。它的声明性语法使 Spark 可以构建优化的查询计划，从而比 RDD 运行更快。
• 数据集 是 DataFrame for Java Virtual Machine(JVM)语言的改进。它引入了 DataFrame 缺乏的编译时类型安全性，以及行的优化表示形式，从而大大减少了内存使用。由于动态语言(Python，R)具有动态特性，因此它实际上并没有任何作用，因此您仍然可以使用它们(同时在内部重新实现为数据集)使用 DataFrame。

有关更多详细信息，请参阅 Jules Damji 的“ 三个 Apache Spark API 的故事 ”。

关于 spark-redis

spark-redis是一个开放源代码连接器，可以让您使用 Redis 存储数据。

将 Redis 用作后端的三个主要原因是：

• DataFrame / set 和 Redis 专用的 RDD： spark-redis 既实现了更通用的接口，又公开了 Redis 闻名的数据结构的RDD。这意味着您可以非常轻松地在 Redis 上部署现有脚本，并在需要完全控制时使用 Redis 特定的功能。

• Redis Cluster：连接器使用Redis Cluster API，并充分利用分片数据库，包括重新分片和故障转移。将数据放在 Redis 集群中ÿ