![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据开发基础
文章平均质量分 80
fangzhan666
这个作者很懒,什么都没留下…
展开
-
《kafka 核心技术与实战》课程学习笔记(十)
Kafka 的 Java 生产者是如何管理 TCP 连接的?为何采用 TCP?Apache Kafka 的所有通信都是基于 TCP 的,而不是基于 HTTP 或其他协议。在开发客户端时,能够利用 TCP 本身提供的一些高级功能,比如多路复用请求以及同时轮询多个连接的能力。除了 TCP 提供的这些高级功能有可能被 Kafka 客户端的开发人员使用之外,目前已知的 HTTP 库在很多编程语言中都略显简陋。Kafka 生产者程序概览Kafka 的 Java 生产者 API 主要的对象就是原创 2023-06-28 23:04:48 · 603 阅读 · 0 评论 -
《kafka 核心技术与实战》课程学习笔记(九)
客户端都有哪些不常见但是很高级的功能?什么是 Kafka 拦截器?拦截器基本思想就是允许应用程序在不修改逻辑的情况下,动态地实现一组可插拔的事件处理逻辑链。它能够在主业务操作的前后多个时间点上插入对应的“拦截”逻辑。Spring MVC 拦截器的工作原理:Kafka 拦截器借鉴了这样的设计思路:可以在消息处理的前后多个时点动态植入不同的处理逻辑,比如在消息发送前或者在消息被消费后。Kafka 拦截器Kafka 拦截器分为生产者拦截器和消费者拦截器。生产者拦截器允许你在发送消息前以及原创 2023-06-28 21:42:46 · 632 阅读 · 0 评论 -
《kafka 核心技术与实战》课程学习笔记(八)
无消息丢失配置怎么实现?原创 2023-06-26 13:48:39 · 1020 阅读 · 0 评论 -
《kafka 核心技术与实战》课程学习笔记(七)
生产者压缩算法怎么压缩?压缩(compression)秉承了用时间去换空间的经典 trade-off 思想,具体来说就是用 CPU 时间去换磁盘空间或网络 I/O 传输量,希望以较小的 CPU 开销带来更少的磁盘占用或更少的网络 I/O 传输。目前 Kafka 共有两大类消息格式,社区分别称之为 V1 版本和 V2 版本。不论是哪个版本,Kafka 的消息层次都分为两层:消息集合(message set)以及消息(message)。一个消息集合中包含若干条日志项(record item),而日原创 2023-06-26 12:26:27 · 806 阅读 · 0 评论 -
《kafka 核心技术与实战》课程学习笔记(六)
生产者消息分区机制原理剖析为什么分区?Kafka 有主题(Topic)的概念,它是承载真实数据的逻辑容器,而在主题之下还分为若干个分区,也就是说 Kafka 的消息组织方式实际上是三级结构:主题 - 分区 - 消息。主题下的每条消息只会保存在某一个分区中,而不会在多个分区中被保存多份。分区的作用就是提供负载均衡的能力对数据进行分区的主要原因,就是为了实现系统的高伸缩性(Scalability)。不同的分区能够被放置到不同节点的机器上,而数据的读写操作也都是针对分区这个粒度而进行的,这样每个原创 2023-06-25 22:26:29 · 1229 阅读 · 0 评论 -
《kafka 核心技术与实战》课程学习笔记(五)
kafka 集群参数配置原创 2023-06-25 19:59:50 · 917 阅读 · 0 评论 -
趣谈 Linux 操作系统学习笔记(四)
学会几个系统调用进程管理Linux 操作系统首先需要创建进程。创建进程的系统调用叫 fork。在 Linux 里,要创建一个新的进程,需要一个老的进程调用 fork 来实现,其中老的进程叫作父进程(Parent Process),新的进程叫作子进程(Child Process)。当父进程调用 fork 创建进程的时候,子进程将各个子系统为父进程创建的数据结构也全部拷贝了一份,甚至连程序代码也是拷贝过来的。对于 fork 系统调用的返回值,如果当前进程是子进程,就返回 0;如果当前进程是父进原创 2022-02-11 10:31:50 · 478 阅读 · 0 评论 -
趣谈 Linux 操作系统学习笔记(三)
快速上手几个 Linux 命令Linux 操作系统有很多功能,我们有很多种方式可以使用这些功能,其中最简单和直接的方式就是命令行(Command Line)。用户与密码当我们打开一个新系统的时候,第一件要做的事就是登录。系统默认有一个 Administrator 用户,也就是系统管理员,它的权限很大,可以在这个系统上干任何事。Linux 上面也有一个类似的用户,我们叫 Root。同样,它也具有最高的操作权限。接下来,你需要输入密码了。对于 Windows 来讲,在你安装操作系统原创 2022-02-10 11:49:40 · 420 阅读 · 0 评论 -
大数据技术基础(一)
每个软件工程师都应该懂大数据技术软件编程技术出现已经半个多世纪了,核心价值就是把现实世界的业务操作搬到计算机上,通过计算机软件和网络进行业务和数据处理。我们常见的软件系统,不管是电子商务还是库存管理,不管是搜索引擎还是收银终端,都是如此。这一点价值巨大,可以成百上千倍地提高我们的生活和工作效率。要想让计算机软件包括互联网应用,能够继续提高我们的生活工作效率,那就必须能够发掘出用户自己都没有发现的需求,必须洞悉用户自己都不了解的自己。计算机软件不能再像以前那样,等用户输入操作,然后根据编写好的逻辑执原创 2022-01-19 15:30:20 · 2614 阅读 · 0 评论 -
趣谈 Linux 操作系统学习笔记(二)
你可以把 Linux 内核当成一家软件外包公司的老板操作系统其实就像一个软件外包公司,其内核就相当于这家外包公司的老板。“双击 QQ”这个过程,都需要用到哪些硬件?鼠标和键盘是计算机的输入设备。大部分的普通用户想要告诉计算机应该做什么,都是通过这两个设备。屏幕,也就是显示器,是计算机的输出设备,将计算机处理用户请求后的结果展现给客户,要不然用户无法知道自己的请求是不是到达并且执行了。显示器上面显示的东西是由显卡控制的。无论是显示器还是显卡,这里都有个“坐标”的概念,也就是说,什么原创 2022-01-06 10:56:20 · 89 阅读 · 0 评论 -
趣谈 Linux 操作系统学习笔记(一)
学习路径:爬过这六个陡坡,你就能对 Linux 了如指掌Linux上手难,学习曲线陡峭,所以它的学习过程更像一个爬坡模式。这些坡看起来都很陡,但是一旦爬上一阶,就会一马平川。你会惊叹 Linux 的设计之美,而 Linux 的灵活性也会使得你有 N 多种方法解决问题,从而事半功倍,你就会有一切尽在掌握的感觉。只可惜,大部分同学都停留在了山脚下。那怎样才能掌握这项爬坡技能呢?我们首先需要明确,我们要爬哪些坡。熟练使用 Linux 命令行。使用 Linux 进行程序设计。了解 Linu原创 2022-01-06 10:34:40 · 612 阅读 · 0 评论