spark
nebofeng
不坠青云之志。。
展开
-
Accumulator-累加器的简单使用及注意事项
累加器用于在executors中做变量更改。 官方文档: 官方文档地址 基于spark 2.3.3版本编写的示例demo : package pers.nebo.sparkcore import org.apache.spark.rdd.RDD import org.apache.spark.sql.SparkSession import org.apache.spark.util.LongAcc...原创 2019-12-29 17:30:14 · 1470 阅读 · 0 评论 -
Spark学习:求网址的top3访问地区及网站pv、uv
思路: 生成用户不同时间访问不同网站的数据,计算出pv 、uv pv 页面访一次加1 ,uv 不同用户访问 加1 //ip val IP = 223 //地址 val ADDRESS = Array("北京", "天津", "上海", "重庆", "河北", "辽宁","山西", "吉林", "江苏", "浙江", "黑龙江", "安徽", "福建", "江西", "...原创 2019-11-26 23:30:40 · 1088 阅读 · 0 评论 -
Scala:基础知识介绍
最近复习了一下Scala 语法,看的课程 https://www.bjsxt.com/dashujushipin.html这里分享一下 下面是练习的代码。有困惑的地方也加了自己的理解。原创 2019-11-22 22:59:54 · 190 阅读 · 0 评论