![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Scala
Song_MJ
这个作者很懒,什么都没留下…
展开
-
SparkStreaming 整合 Flume (Flume Push 到 SparkStreaming) 在集群运行
步骤:// 1 编写flume配置文件// 2 编写sparkstreaming程序// 3 打包// 4 启动sparkstreaming程序// 5 启动flume agent// 6 通过nc -lk 44444向flume source发送数据,查看sparkstreaming程序是否正常输出flume配置文件// flume source 是 hadoop000:...原创 2020-03-27 18:46:13 · 184 阅读 · 0 评论 -
SparkStreaming 整合 Flume (Flume Push 到 SparkStreaming) 本地测试
步骤:// 1 编写flume配置文件// 2 编写spark程序,启动sparkstreaming作业// 3 启动flume agent// 4 通过telnet输入数据,观察IDEA控制台的输出flume配置文件simple-agent.sources = netcat-sourcesimple-agent.sinks = avro-sinksimple-agent...原创 2020-03-27 17:20:25 · 227 阅读 · 0 评论 -
用SQL查询SparkStreaming DStream数据
pom文件<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.o...原创 2020-03-26 18:56:44 · 309 阅读 · 0 评论 -
SparkStreaming 实现黑名单过滤功能
pom 文件<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache....原创 2020-03-26 16:31:50 · 769 阅读 · 0 评论 -
SparkStreaming updateStateByKey 历史数据累加
pom文件:<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache...原创 2020-03-26 11:41:15 · 245 阅读 · 0 评论 -
SparkStreaming 处理端口数据,输出到MySQL
pom文件:<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache....原创 2020-03-26 10:40:21 · 179 阅读 · 0 评论 -
Scala Spark Streaming 读取 HDFS 文件 WordCount
pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="h...原创 2020-03-18 17:09:04 · 531 阅读 · 0 评论 -
Scala Spark WordCount 例子
pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="h...原创 2020-03-18 14:29:31 · 241 阅读 · 0 评论