云祁QI

之前有不少小伙伴留言和私信我关于大数据学习路线，以及咨询我一些关于有工作经验想转行大数据的问题，只言片语也讲不清。我花了一个月整理了一份我当初学习的大数据学习路线，从最基础的大数据集群搭建开始，希望能帮助到大家。

自上次师兄遭受了面试官 Kafka 的暴击追问后，回来发疯图强，企图“吊打面试官”，奈何还是面试官套路深啊，最近的面试，又被问到kafka的知识盲点了！让我们一起来看看，可怜的师兄又遇到了哪些让人头秃的问题 {{{(>_<)}}} ！

其实在今天的很多大厂面试里，都会要求能够熟练运用Apache Kafka等至少一种消息队列，Apache Kafka也是我们面试里的常客。在大多数人的印象中，写磁盘都是比较慢的，可是，为什么Apache Kafka在各大MQ性能的评测中，还能够击败众多对手，取得不错的成绩呢？通过师兄遇到的关于 Kafka 问题的暴击三连问 ，让我们一起走进师兄受伤的心

活着就意味必须要做点什么，请好好努力。

师兄在面试时遇到了这条SQL题，回来我帮他参谋了下，觉得非常有意思，让我们一起来看看这道差点吊打师兄的笔试题吧！

2024 年即将划上句号，回望过去一年的风雨兼程。最核心的关键词，是体验、充盈与幸福，这三个词充满了我的 2024。刚提笔时，脑海里还是有点空白，想了想，既然是自己的年终复盘，不就是自己和自己说说话嘛。不如翻开相册和朋友圈来写，不就是这一年发生的点滴了？⏱ 回顾 20241 月关键词...

大家好，我是云祁。好久不见呀～

文章目录一、前言二、IaaS三、PaaS四、SaaS五、DaaS一、前言云计算通俗来说就是输入/输出和计算不在一个主机上。计算要用到计算设备，计算设备一般是指CPU、内存和硬盘，输入/输出设备一般是指键盘、鼠标、显示器、耳机、音响、话筒等外设。而我们的个人计算机是使用主板将这些东西连接到一起来协调工作。一个软件在执行以完成某项任务的时候，如果用到的计算设备和输入/输出设备不是通过主板连接，而是通过网络连接，那么这个过程就叫云计算。举几个例子来说明一下：1、我远程到客户电脑给客户处理问题，输入/输

目前我们所接触的比较流行的开源流式处理框架：Flink、Spark Streaming、Storm、Kafka Streams，我会对以上几个框架的应用场景、优势、劣势、局限性一一做说明，大家快来看看哪个流式处理的框架更适合你吧！

文章目录一、前言二、“埋点”知多少三、“埋点”有何用四、几种埋点“姿势”4.1 前端埋点4.1.1 代码埋点4.1.2 可视化埋点4.1.3 无埋点4.2 后端埋点4.3 其它埋点五、最理想的埋点方式？六、流量分析系统中日志埋点6.1 选择客户端埋点6.2 服务器规划七、日志埋点的实现7.1 客户端埋点7.2 服务器端开发（关键代码）一、前言所谓的埋点就是在应用中特定的流程收集一些信息，用来跟...

这篇博客（转载）内容整理自 ：我男神敖丙的系列文章 敖丙

摘要：本文由 bilibili 大数据实时平台负责人郑志升分享，基于对 bilibili 实时计算的痛点分析，详细介绍了 bilibili Saber 实时计算平台架构与实践。本次分享主要围绕以下四个方面：一、实时计算的痛点二、Saber 的平台演进三、结合 AI 的案例实践四、未来的发展与思考一、实时计算的痛点 1.痛点各个业务部门进行业务研发时都有实时计算的...

学过大数据的同学应该都知道 Kafka，它是分布式消息订阅系统，有非常好的横向扩展性，可实时存储海量数据，是流数据处理中间件的事实标准。本文将介绍 Kafka 是如何保证数据可靠性和一致性的。数据可靠性Kafka 作为一个商业级消息中间件，消息可靠性的重要性可想而知。本文从 Producter 往 Broker 发送消息、Topic 分区副本以及 Leader 选举几个角度介绍数据的可靠性。Top...

文章目录前言1、synchronized 关键字修饰方法或代码段,只保证临界数据是互斥访问的2、volatile修饰变量3、ReentrantLock可重入锁，实现数据的互斥访问4、wait和notify，实现线程间的等待通知机制5、ReentrantLock结合Condition接口，实现线程间的等待通知机制前言java多线程同步和通信的方法有如下几种：synchronized关键字修饰...

文章目录一、创建hashset实例化对象二、查看源码三、查看HashMap的put添加数据方式四、总结分析为什么sh说HashSet是无序的？首先我们看源码解析。一、创建hashset实例化对象Set<String> set = new HashSet<String>();set.add("hello");set.add("hello");//重复元素set.a...