![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
天涯xx
这个作者很懒,什么都没留下…
展开
-
Kafka中的名词说明和常用命令(详细)
Kafka中的名词说明:1、Producer:生产者,向kafka broker中发送消息客户端2、Consumer:消费者,向kafka broker中拉取消息客户端3、Consumer Group:消费者组,由多个Consumer组成,消费者内每个消费者负责消费不同分区,一个分区只能由一个消费者进行消费,消费者组之间互不影响,所有的消费者都属于某个消费者组,即消费者组是逻辑上一个订阅者...原创 2019-12-20 17:49:27 · 499 阅读 · 0 评论 -
Sparcore小案例
Spark广告小案例数据格式:timestamp province city userid adid时间点 省份 城市 用户 广告用户ID范围:0-99省份,城市,ID:相同:0-9**adid:**0-19需求:1.统计每一个省份点击TOP3的广告IDimport org.apache.spark.rdd.RDDobject HomeWor...原创 2019-12-12 09:19:45 · 159 阅读 · 0 评论 -
Spark算子练习+计算用户停留时间最长的两个地方
Spark算子练习题计算用户停留时间最长的两个地方1. 需求根据用户产生日志的信息,计算用户停留时间最长的两个地方,19735E1C66.log 这个文件中存储着日志信息文件组成:手机号,时间戳,基站ID 连接状态(1连接0断开)lac_info.txt 这个文件中存储基站信息文件组成 基站ID, 经,纬度在一定时间范围内,求所用户经过的所有基站所停留时间最长的Top22.思路:...原创 2019-12-11 21:00:19 · 690 阅读 · 0 评论