![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
wilson_go
这个作者很懒,什么都没留下…
展开
-
Spark的WordCount产生多少个RDD
不少的同学在面试中会被问到:这样的一句标准的sparkcore的wordcount的代码到底能要产生几个RDD呢。相信大家对于一个标准的WordCount的代码一定不陌生:sc.textFile("hdfs://myha01/wc/input/words.txt") .flatMap(_.split(" ")) .map((_,1)) .reduceByKey(_+_) .saveAsT...转载 2018-10-17 21:37:42 · 596 阅读 · 0 评论 -
dmp广告项目
gitee地址:https://gitee.com/jenrey/project_11.项目背景:互联网广告(本项目针对手机)的崛起得益于信息技术的发展和普及,智能的终端设备迅猛的发展。互联网广告的优势: 1)受众多 6-7亿网民 &...转载 2018-10-21 19:23:19 · 4582 阅读 · 5 评论 -
爱奇艺分类点击实时统计
项目源码:SparkStreaming部分:https://gitee.com/jenrey/project_twoSpringBoot部分:https://gitee.com/jenrey/project_two_two1.项目需求2.项目过程3.数据格式ver=1&am...转载 2018-10-21 19:29:16 · 1306 阅读 · 0 评论 -
pyspark写入mongodb
import datetime# data="8/18/2019 6:53:14 PM"# strptime = datetime.datetime.strptime(data, '%d/%m/%Y %H:%M:%S PM')# print(strptime)a={'a':1,'b':2}print(a['a'])print(a.get('c'))# from pyspark i...原创 2019-08-31 15:25:08 · 871 阅读 · 0 评论