实时问题总结

最新推荐文章于 2024-08-01 10:00:00 发布

Mr Fmy

最新推荐文章于 2024-08-01 10:00:00 发布

阅读量165

点赞数

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_42908473/article/details/112545579

版权

1.sparkstreaming不仅要从kafka读数据然后根据表的性质写数据到kafka的不同topic中
在这里插入图片描述
之前没搞清楚了，kafka存储的是ods层的数据
2.local[?] ?表示多少个分区，设置为*会导致资源浪费
3foreachRDD是行动算子

Mr Fmy CSDN认证博客专家 CSDN认证企业博客

码龄6年

90: 原创

32万+: 周排名

205万+: 总排名

4万+: 访问

: 等级

1062: 积分

16: 粉丝

29: 获赞

14: 评论

123: 收藏

私信

关注

热门文章

分类专栏

最新评论

学习尚筹网的一个致命错误，刻骨铭心，可以当遇到的问题
starter_yo~: 九敏有这个@service还是这样500
scala需求: 每个区域的平均等客时间
月色下的悠闲: [code=java] val taixwait = source.getLines().toList.map(_.split("\t").toList).filter(_.length == 5) .groupBy(_(0)).map(x=>x._2.sortBy(_(3)).map(x=>ListBuffer(x(2),new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").parse(x(3)).getTime,new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").parse(x(4)).getTime))).toList .map(x=>{ for(i <- 0 until x.length - 1){ x(i)(1) = x(i)(2) x(i)(2) = x(i + 1)(1) } x.init }).flatten.groupBy(_(0)).map(x=>(x._1,x._2.map(x=>x(2).toString.toLong - x(1).toString.toLong))) .map(x=>(x._1,x._2.sum / x._2.length / 1000 / 60)) [/code]
scala需求: 每个区域的平均等客时间
Hothy: 老杜已经发现你了
hbase问题总结(校招)
kkkkkc丶: 海狗人生丸？
浩鲸科技笔试题
泰山AI: 帮助很大，拒绝白嫖，点赞评论留个在此一游

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。