Spark Streaming
.
Michael-DM
普通大二学生,博客用于学习和回顾,如有错误请私信帮助改正,谢谢
展开
-
Spark Streaming整合Kafka
指导 第一步先要添加依赖 groupId = org.apache.spark artifactId = spark-streaming-kafka-0-8_2.12 version = 2.4.5 1.Receiver-based方法 编写Spark Streaming项目代码 def main(args: Array[String]): Unit = { //新建一个SparkCo...原创 2020-04-09 15:25:35 · 174 阅读 · 0 评论 -
Spark Streaming整合flume
官网 1.Spark Streaming整合flume(push方式) 先导入依赖 groupId = org.apache.spark artifactId = spark-streaming-flume_2.12 version = 2.4.5 官网 首先编写flume配置文件 测试source使用netcat,sink必须使用avro # simple-agent:agent名称 ...原创 2020-04-09 14:33:56 · 123 阅读 · 0 评论 -
Spark Streaming 基本API案例
1.Spark Streaming处理Socket数据 这边我们使用scala进行编程 def main(args: Array[String]): Unit = { //新建一个SparkConf 将Master和AppName设置进去 val sparkConf: SparkConf = new SparkConf() .setAppName("NetworkWordCou...原创 2020-04-08 15:40:59 · 328 阅读 · 0 评论