Spark Streaming 实时流处理项目实战 笔记八

Spark Streaming进阶

带状态的算子：UpdateStateByKey

实战：计算到目前为止累积出现的单词个数写入到MySQL中

使用Spark Streaming进行统计分析
Spark Streaming统计结果写入到MySQL

创建一张表：
create table wordcount(
word varchar(50) default null,
count int(10) defalut null
);
安装MySQL
create database imooc_spark;

use imooc_spark

mysql 登录命令：mysql -u root -p

[root@hadoop000 bin]# service mysqld status
mysqld (pid 12669) is running…

通过该sql 将统计结果写入到mysql数据库
“insert into wordcount(word, wordcount) values(’” + record._1 + “’,” + record._2 + “)”

存在的问题：
1）对于已有的数据没有做更新，而是所有的数据均为insert
改进思路：
a）在插入数据前先判断单词是否存在，如果存在就update，不存在就insert
b）工作中：HBase/Redis
2）每个rdd的partition创建connection，建议大家改成连接池

基于window的统计

window：定时的进行一个时间段内的数据处理
窗口长度
窗口间隔
这两个参数和我们的batch size有关系：倍数
每隔多久计算某个范围内的数据：每隔十秒计算前十分钟的wc==>每隔sliding interval统计前window length的值

实战：黑名单过滤

transform算子的使用

访问日志 == > DStream
20180808,zs
20180808,ls
20180808,ww

            ==>(zs：20180808,zs) (ls：20180808,ls) (ww：20180808,ww)

黑名单列表 == > RDD
zs
ls

==>(zs:true)(ls:true)

==>20180808,ww

leftjoin
(zs:<20180808,zs>,)
(ls:<20180808,ls>,)
(ww:<20180808,ww>,)

实战：Spark Streaming整合Spark SQL实战