![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据之计算
文章平均质量分 79
聊聊自己对这些计算框架的理解和认识
acethan
这个作者很懒,什么都没留下…
展开
-
大数据开发面试之路
数据结构和算法篇list 反转,合并,两个list 是否相交。排序。二叉树,最近公共祖先。DFSBFS动态规划。编程语言篇–JavaHashMap的实现,与ConcurrentHashMap区别。volatile 的作用,与synchronize 的异同。了解的设计模式,单例模式的实现。Hadoop篇MapReduce作业流程,其中有几次排序。Yarn任务调度过程,Yarn的调度方法。MR Shuffle 过程。Hiverow_number 与 rank 的区别原创 2021-04-16 19:24:38 · 250 阅读 · 0 评论 -
大数据之推荐系统梗概---以ALS隐语义模型为例
看过视频网站的小伙伴们有好奇过每次打开app出现的内容究竟是怎么来的呢,为啥自己的和别人的会不一样呢,接下来就开始我们的解密之旅。当我们注册一个网站会员的时候多半会让我们挑选自己感兴趣的频道,这样系统会根据我们的选择为我们推荐相关的内容了。不过不注册会员好像每次也能看见和自己看过内容相关的推送呢,这就是根据观看历史来推荐了,后台根据ip或相关范围也可以推荐到你相关的内容,最明显的例子就是可能在华南地区打开app和在华北地区打开app你看到的内容会有一些差异了。我们暂且将推荐系统后端分为实时推荐、离线推荐原创 2021-03-11 21:14:00 · 596 阅读 · 0 评论 -
为什么要用Flink--从需求到应用
很早之前就看过《三傻大闹宝莱坞》很是崇拜里面的主角兰彻,除了他的聪明以外,更重要的是他的学习方法,以及事事都能看清本质的能力。都说学会学习比学习更重要,虽然自己也在保持学习,但好像没有什么明显进步,学的多忘记的也多,一直在寻找合适的学习方法。所以开始以一种从需求和已有知识出发去理解和学习新知识的方法来学习,而不是一上来就学习某个框架怎么做的,有哪些组件,干什么的。好,回归主题,这篇聊聊实时计算。实时计算?不就是把数据从数据流拿进来按需求算一下,例如什么最大最小值、平均值之类的,抑或是统计一下流进来的数据原创 2021-03-11 11:29:38 · 658 阅读 · 1 评论