使用spark-redis组件访问云数据库Redis

作者：无谓 阿里巴巴高级技术专家，2008年加入阿里巴巴集团，先后在B2B和阿里云工作，一直从事大数据和分布式计算相关研究，作为主要开发和运维人员经历了阿里内部大数据集群的上线和发展壮大，现在阿里云EMR团队，负责Spark、Hadoop等计算引擎研发。

---

本文演示了在Spark Shell中通过spark-redis组件读写Redis数据的场景。所有场景在阿里云E-MapReduce集群内完成，Redis使用阿里云数据库Redis。

创建服务

我们以EMR-3.21.0版本和Redis 4.0为例。EMR集群安装的Spark版本是2.4.3，我们需要使用对应的Spark-Redis 2.4版本，该组件可以支持Redis 2.9.0以上版本。

EMR和Redis需要在同一个VPC网络中创建，同时，在云数据库Redis实例启动之后，需要在“白名单设置”中添加EMR集群IP地址（参考Redis快速入门文档，https://help.aliyun.com/document_detail/107043.html）。

启动Spark Shell

接下去，我们登录EMR Master节点启动Spark Shell。如果Master节点可以连接外网，可以使用package方式加载spark-redis相关jar包：

spark-shell --packages com.redislabs:spark-redis:2.4.0 \
 --conf spark.redis.host=hostname \
 --conf spark.redis.port=6379 \
 --conf spark.redis.auth&