扎实基础
文章平均质量分 68
扎实基础
四美
这个作者很懒,什么都没留下…
展开
-
mysql join
JOIN操作常见算法Nested Loop Join (循环嵌套连接)Hash Join(散列连接)Sort Merge Join(排序归并连接)MySQL只支持Nested Loop Join,MySQL8.0版本支持Hash JoinNested-Loop JoinNested-Loop Join有3种实现的算法Index Nested-LoopJoin > Block Nested-Loop Join > Simple Nested-Loop JoinSimple Ne原创 2021-11-12 14:55:26 · 900 阅读 · 0 评论 -
001-kafka producer的整体流程
kafka producer的整体流程原创 2021-08-02 09:52:00 · 107 阅读 · 0 评论 -
kafka sourcecode
Kafka从2.8.0与ZooKeeper正式分手,我这里下载的是2.6.2下载地址:https://gradle.org/releases/http://www.scala-lang.org/download/all.htmlhttps://gradle.org/releases/我的版本jdk -- 1.8Scala -- 2.13.3Gradle -- 5.6.4示例代码地址:https://github.com/1561630125/kafka2.6.2原创 2021-05-27 17:10:42 · 135 阅读 · 0 评论 -
spring5.2.x sourcecode
Gradle版本:5.6.4Spring源码:5.2.Xhttps://github.com/spring-projects/spring-framework/关闭掉idea http-proxy示例代码地址:https://github.com/1561630125/spring5.2.X原创 2021-05-27 17:09:08 · 128 阅读 · 0 评论 -
kafka事务
Kafka在0.11版本中除了引入了Exactly Once语义,还引入了事务特性。Kafka事务特性是指一系列的生产者生产消息和消费者提交偏移量的操作在一个事务中,或者说是一个原子操作,生产消息和提交偏移量同时成功或者失败。1. Kafka事务的使用Kafka中的事务特性主要用于以下两种场景:生产者发送多条消息可以封装在一个事务中,形成一个原子操作。多条消息要么都发送成功,要么都发送失败。read-process-write模式:将消息消费和生产封装在一个事务中,形成一个原子操作。在一个流式处理转载 2021-04-20 00:00:24 · 411 阅读 · 0 评论 -
elasticsearch基本概念与查询
推荐书籍:Elasticsearch: 权威指南 基本概念1、Cluster(集群)es集群对外提供索引和搜索的服务,其包含一个或者多个节点,每个节点都有统一的集群名称。参考本地集群搭建。2、Node(节点)单独一个Elasticsearch服务器实例称为一个node,node是集群的一部分,每个node有独立的名称,默认是启动时获取一个UUID作为名称,也可以自行配置。3、Shard(分片)Shard分片也称为primary shard,是单个Lucene索引,由于单台机器的存储容量是有限原创 2021-04-19 23:40:02 · 284 阅读 · 0 评论 -
Zookeeper介绍、原理及应用
Zookeeper简介Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等等。应用场景数据发布与订阅发布与订阅即所谓的配置管理,顾名思义就是将数据发布到ZooKeeper节点上,供订阅者动态获取数据,实现配置信息的集中式管理和动态更新。例如全局的配置信息,地址列表等就非常适合使用数据发布/订阅的一个常见的场景是配置中心,发布者把数据发布到 Z原创 2021-04-11 23:44:26 · 964 阅读 · 0 评论 -
kafka消息重复和丢失的场景及解决方案分析
消息重复和丢失是kafka中很常见的问题,主要发生在以下三个阶段:生产者阶段broke阶段消费者阶段生产者阶段重复场景根本原因生产发送的消息没有收到正确的broke响应,导致producer重试。producer发出一条消息,broke落盘以后因为网络等种种原因发送端得到一个发送失败的响应或者网络中断,然后producer收到一个可恢复的Exception重试消息导致消息重复。重试过程[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bca8dl5i-161原创 2021-04-11 23:37:59 · 1041 阅读 · 0 评论 -
kafka扫盲
Kafka基本架构如上图所示,一个典型的Kafka体系架构包括:若干Producer(可以是服务器日志,业务数据,页面前端产生的page view等等),若干broker(Kafka支持水平扩展,一般broker数量越多,集群吞吐率越高),若干Consumer (Group),以及一个Zookeeper集群(将被移除)。每个 Broker 中又包含了 Topic 以及 Partition 这两个重要的概念Topic(主题) : Producer 将消息发送到特定的主题,Consumer转载 2021-04-11 23:31:29 · 436 阅读 · 0 评论