![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
D调的Stanley
这个作者很懒,什么都没留下…
展开
-
scala和java的关联以及区别
从Hello World说起 编写一段最基本的helloworld代码,然后我们对生产的class文件进行反编译,可以看到生成了两个class文件 一个是HelloWorld,一个是HelloWorld$ object HelloWorld { def main(args: Array[String]): Unit = { println("Hello World!") } ...原创 2020-05-08 15:55:20 · 1514 阅读 · 1 评论 -
spark screaming 模拟实战项目实例
由于没有网络日志,我们这里用之前写的python脚本爬取新浪微博热搜模拟产生日志文件,通过kafka和flume整合 将日志定时抽取到 spark上进行处理,微博热搜是十分钟更新一次,我们这里也设置十分钟的定时任务,具体步骤如下第一步编写python脚本获取微博热搜 实时排名,主题和url,然后运行测试,代码如下#!python2 # -*- coding:utf-8 -*- import url...原创 2018-05-03 23:15:43 · 1947 阅读 · 0 评论 -
spark 处理网络日志 查询pv uv实例
这里我们先理解一下spark处理数据的流程,由于spark 有standalone,local,yarn等多种模式,每种模式都有不同之处,但是总体流程都是一样的,大致就是客户端向集群管理者提交作业,生成有向无环图,图中的内容包括分成几个stage,每个stage有几个task,每个task分别由哪个executor来执行,接下来的工作就是整个spark集群按照有向无环图的布置来进行,并得出结果。下...原创 2018-04-25 22:38:35 · 1135 阅读 · 0 评论 -
spark 实现共同好友查找
共同好友:求大量集合的两两交集 目标:令U为包含所有用户的一个集合:{U1,U2,...,Un},我们的目标是为每个(Ui,Uj)对(i!=j)找出共同好友。 前提:好友关系是双向的 输入:<person><,><friend1>< ><friend2>< >...<friendN> 100,200 300 4原创 2018-05-20 11:49:05 · 1139 阅读 · 0 评论