spark
坯子蔡
永远怀着一颗学习的心去行走
展开
-
Spark 安装
从 Spark 官网上下载的 Spark 官网上下载的安装包,默认不支持 Hive,因此要是想在 Spark SQL 上查询操作 Hive 上的数据,需要重新编译 Spark 源码,本文 Spark 的版本为 Spark-2.1.2-bin-hadoop2.6.0;Hadoop 的版本为 Hadoop-2.6.0-cdh5.7.0;Hive 的版本为 Hive-1.1.0-cdh5.7.0,下面介...原创 2019-03-27 09:06:58 · 278 阅读 · 0 评论 -
Spark Streaming 集成 Kafka 详解
概述 Spark Streaming 支持多种输入源数据的读取,其中基本数据源有:File System、Socket connections;而高级数据源有:Kafka、Flume、Kinesis等。但是高级数据源需要额外依赖,而且不能在 Spark Shell 中测试这些高级数据源,如果想要在Spark Shell 中测试需要下载依赖到Spark 依赖库中。 关于读取Kafka 的方式,S...原创 2019-08-28 17:02:23 · 640 阅读 · 0 评论