【大数据】Spark-案例
文章平均质量分 52
21989939
这个作者很懒,什么都没留下…
展开
-
Spark【案例】实现黑名单实时过滤
黑名单实时过滤一、实验介绍1.1 实验内容本节课主要讲解 Spark 的 RDD 操作,让您对 Spark 算子的特性快速了解。通过演示案例实时黑名单过滤,让您切身体会到 RDD 的强大功能,然后学以致用。1.2 先学课程Spark 系列课程1.3 实验知识点ncSparkStreamingSpark RDD1.4 实验环境spark-2.1.0-bin-hadoop2.6Xfce 终端1.5 适...转载 2018-03-16 10:33:54 · 3730 阅读 · 0 评论 -
Spark【案例】——PV、UV、TopK
/** * 计算pv log日志文件中每一行记录,为一次点击记录,也就是一次pv操作 */ object LocalPV { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("pv").setMaster("local[2]") val sc = new Sp...原创 2018-03-07 22:16:55 · 1075 阅读 · 0 评论