![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
慕容馨磊
这个作者很懒,什么都没留下…
展开
-
spark streaming实战运用
简单介绍一下业务场景。门户网站,用户有时会点击一些广告,但是有一些用户可能恶意点击广告,所以需要过滤掉这些用户并保存至黑名单中。然后想实时分析一下这些广告的数据,比如今天一天各个省份各个城市广告的排名,近一个小时的实时排名等。 技术点: 1.transform算子的运用。 2.reduceByKeyAndWindow窗口函数的运用。 3.updateStateByKey的运用。 4...原创 2019-11-21 12:33:01 · 566 阅读 · 0 评论 -
Structed Streaming写入数据到mysql,kafka中
structed streaming是spark2.x之后更新的,一句话介绍就是比spark streaming更高级的api工具。 举个例子,当我们做实时单词统计的时候,每一个批次的数据都能统计出来。如果要统计前面几个批次的所有数据该怎么办?在spark streaming里面只能自己实现,而Structed Streaming却帮我们实现好了。 不过了数据统计完成之后该如何输出保存了...原创 2019-11-12 21:14:17 · 1698 阅读 · 0 评论 -
spark读取hive问题汇总
hive的计算引擎是tez,该如何配置? spark读取hive的数据报错,按照网上的说明,将hive的conf目录下的hive-site.xml复制到spark的conf目录下,并添加上hive的metastore。 <property> <name>hive.metastore.uris</name> <value&...原创 2019-11-08 17:42:10 · 1918 阅读 · 0 评论