yirigu-CSDN博客

原创 kafa 吞吐量高的原因

1、顺序读写kafka的消息是不断追加到文件中的，这个特性使kafka可以充分利用磁盘的顺序读写性能顺序读写不需要硬盘磁头的寻道时间，只需很少的扇区旋转时间，所以速度远快于随机读写2、零拷贝在Linux kernel2.2 之后出现了一种叫做"零拷贝(zero-copy)"系统调用机制，就是跳过“用户缓冲区”的拷贝，建立一个磁盘空间和内存的直接映射，数据不再复制到“用户态缓冲区”常用模式：在这里插入图片描述：kafka使用如下模式：在这里插入图片描述：3...

2021-11-12 14:19:42 1352

原创 kafka与zookeeper的关系

一个典型的Kafka集群中包含若干Produce，若干broker（一般broker数量越多，集群吞吐率越高），若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。1)Producer端直接连接broker.list列表,..

2021-11-07 18:16:34 5490

原创 kafka的原理是什么？

在Kafka中的每一条消息都有一个topic。一般来说在我们应用中产生不同类型的数据，都可以设置不同的主题。一个主题一般会有多个消息的订阅者，当生产者发布消息到某个主题时，订阅了这个主题的消费者都可以接收到生产者写入的新消息。kafka为每个主题维护了分布式的分区(partition)日志文件，每个partition在kafka存储层面是append log。任何发布到此partition的消息都会被追加到log文件的尾部，在分区中的每条消息都会按照时间顺序分配到一个单调递增的顺序编号，也就是我们.

2021-10-31 23:47:51 847

原创 Zookeeper工作原理

Zookeeper的核心是原子广播，这个机制保证了各个server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式，它们分别是恢复模式和广播模式。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数server的完成了和leader的状态同步以后，恢复模式就结束了。状态同步保证了leader和server具有相同的系统状态，一旦leader已经和多数的follower进行了状态同步后，他就可以开始广播消息...

2021-10-22 16:08:40 199

原创网络爬虫原理

　　网络爬虫指按照一定的规则（模拟人工登录网页的方式），自动抓取网络上的程序。简单的说，就是讲你上网所看到页面上的内容获取下来，并进行存储。网络爬虫的爬行策略分为深度优先和广度优先。如下图是深度优先的一种遍历方式是A到B到D到E到C到F（ABDECF）而宽度优先的遍历方式ABCDEF。　　网络爬虫实现原理　　1、获取初始URL。初始URL地址可以有用户人为指定，也可以由用户指定的某个或某几个初始爬取网页决定。　　2、根据初始的URL爬取页面并获得新的URL。获得初始的URL地址之后，...

2021-10-17 19:37:44 545

原创 Python 八大数据类型。

　　数据类型是编程的基础，当我们学习编程或者进行编程的时候数据类型是我们必须掌握的知识，那么你知道Python数据类型分为哪几类吗?小编为大家罗列了八大数据类型。　　1.number（数字类型）　　int整型　　在32位机器上，整数的位数是32位，取值范围是-231~231-1，即-2147483648~214748364;在64位系统上，整数的位数为64位，取值范围为-263~263-1，即9223372036854775808~9223372036854775807。　　long长整型

2021-09-28 16:40:02 6231

原创 Python的特点

Python 是一种面向对象的、解释型的、通用的、开源的脚本编程语言，它之所以非常流行，我认为主要有三点原因：Python 简单易用，学习成本低，看起来非常优雅干净；Python 标准库和第三库众多，功能强大，既可以开发小工具，也可以开发企业级应用；Python 站在了人工智能和大数据的风口上，站在风口上，猪都能飞起来。举个简单的例子来说明一下 Python 的简单。比如要实现某个功能，C语言可能需要 100 行代码，而 Python 可能只需要几行代码，因为C语言什么都要得从头开始，而 Pyth

2021-09-28 15:54:32 162

yirigu的博客