![](https://img-blog.csdnimg.cn/20210401150304516.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
中间件
文章平均质量分 87
中间件之kafka、redis、ES等知识积累
言午玉口才
众里寻他千百度。蓦然回首,那人却在,灯火阑珊处
展开
-
CDH6安装手册
1. CDH服务器操作系统安装1.1 管理节点分区简单配置管理节点数为1,总共4块盘(每块600G),做raid10,为系统盘;剩余2块硬盘(每块2.4T)整体做RAID1,为数据磁盘图1-1 namenode服务器配置 Raid 用途 容量GB 分区目录 容量 用途原创 2022-05-10 18:06:26 · 1998 阅读 · 0 评论 -
kafka配置参数简介
配置及参数说明consumer的配置参数#如果'enable.auto.commit'为true,则消费者偏移自动提交给Kafka的频率(以毫秒为单位),默认值为5000。spring.kafka.consumer.auto-commit-interval = 5000;#当Kafka中没有初始偏移量或者服务器上不再存在当前偏移量时该怎么办,默认值为latest,表示自动将偏移重置为最新的偏移量#可选的值为latest, earliest, none# earliest: 当各分区下有已原创 2021-09-05 09:56:06 · 5359 阅读 · 0 评论 -
Kafka安装问题集合
一、Kafka的安装教程 详细的安装过程,请查看:https://www.cnblogs.com/luotianshuai/p/5206662.html二、安装问题 1、在Kafka目录 bin 下,启动 ./kafka-server-start.sh -daemon ../config/server.properties 出现: Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory...原创 2021-03-12 10:17:18 · 542 阅读 · 0 评论 -
zookeeper 单服务器的集群搭建
一、前言ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。ZooKeeper包含一个简单的原语集,提供Java和C的接口。二、搭建 安装包:apache-zookeeper-3.5.原创 2021-03-11 16:31:52 · 697 阅读 · 0 评论 -
携程Apollo配置中心动态生效实现原理(转载)
一、结论:Apollo配置中心动态生效机制,是基于Http长轮询请求和Spring扩展机制实现的,在Spring容器启动过程中,Apollo通过自定义的BeanPostProcessor和BeanFactoryPostProcessor將参数中包含${…}占位符和@Value注解的Bean注册到Apollo框架中定义的注册表中。然后通过Http长轮询不断的去获取服务端的配置信息,一旦配置发生变化,Apollo会根据变化的配置的Key找到对应的Bean,然后修改Bean的属性,从而实现了配置动态生效的特性转载 2020-11-17 14:02:31 · 1326 阅读 · 0 评论 -
Zookeeper的Leader选举算法
一、前言 前面学习了Zookeeper服务端的相关细节,其中对于集群启动而言,很重要的一部分就是Leader选举,接着就开始深入学习Leader选举。二、Leader选举 2.1 Leader选举概述 Leader选举是保证分布式数据一致性的关键所在。当Zookeeper集群中的一台服务器出现以下两种情况之一时,需要进入Leader选举。 (1) 服务器初始化启动。 (2) 服务器运行期间无法和Leader保持连接。 下面就两种情况进行分析讲解。 1. 服务器启转载 2020-09-04 14:35:18 · 154 阅读 · 0 评论 -
基于zookeeper实现分布式锁
一、场景 单机应用架构中,秒杀案例使用ReentrantLcok或者synchronized来达到秒杀商品互斥的目的。然而在分布式系统中,会存在多台机器并行去实现同一个功能。也就是说,在多进程中,如果还使用以上JDK提供的进程锁,来并发访问数据库资源就可能会出现商品超卖的情况。因此,需要我们来实现自己的分布式锁。二、特性实现一个分布式锁应该具备的特性: A、高可用、高性能的获取锁与释放锁 B、在分布式系统环境下,一个方法或者变量同一时间只能被一个线程操作 ...原创 2020-09-03 16:42:36 · 279 阅读 · 0 评论 -
kafka之协调者
一、消费者加入消费组1、加入组请求的业务逻辑主要步骤如下:(1)、消费者加入消费组之前,需要做一些准备工作,比如同步提交一次偏移量,执行监听器的回调。(2)、消费者创建“加入组请求”,包括消费者的元数据作为请求的数据内容。(3)、消费者发送“加入组请求”,采用组合模式返回一个新的异步请求对象,并定义回调处理器。(4)、客户端通过轮询,确保组合模式返回的异步请求必须完成,这是一个阻塞的方法。(5)、异步请求完成后,执行回调方法,将分区设置到消费者的订阅状态,并重置心跳定时任务。涉及原创 2020-06-27 16:09:52 · 1549 阅读 · 0 评论 -
kafka之消费者基础知识一
一、消费者基础知识1、读消息时,如果多个消费者同时读取一个分区,为了保证将日志文件的不同数据分配给不同的消费者,需要采用加锁、同步等方式,在分区级别的日志文件上做些控制。“同一个分区只可被一个消费者处理”,就不需要加锁同步。2、每个消费者处理的分区都不会重复;3、同一条消息广播给多个消费组,单播给同一组中的消费者。被订阅主题的所有分区会平均地负载给订阅方,即消费组中的所有消费者。4、关于“一个分区只可被消费组中的一个消费者所消费”的解析:(1 )在一个消费组中,一个消费者可以消费多个原创 2020-05-31 14:43:13 · 649 阅读 · 0 评论 -
kafka之生产者
一、通讯过程 生产者、消费者看作客户端,消息代理看作服务端,它们之间的网络通讯如下:二、概念1、生产者发送过程:生产者要发送消息,并不是直接发送给服务端,而是先在客户端把消息放入队列中, 然后由一个消息发送线程从队列中拉取消息,以批盐的方式发送消息给服务端。2、记录收集器(RecordAccumulator):负责缓存生产者客户端产生的消息(批记录队列),批记录没有满,需要等待直到收集足够的信息。这里需要判断队列中的批记录是否满,没有满继续追加;满则需要开通新的批记录。...原创 2020-05-16 20:36:28 · 232 阅读 · 0 评论 -
Kafka基础概念
一、kafka流式数据平台具备的特点 1、提供事件流的发布和订阅,即具备数据注入功能。 2、存储事件流数据的节点具有故障容错的特点,即具备数据存储功能。 3、能够对实时的事件流进行流式地处理和分析,即具备流处理功能。核心组件: 生产者(producer):应用程序发布事件流到kafka的一个或多个主题。 消费者(comsumer):应用程序订...原创 2020-04-25 16:19:44 · 192 阅读 · 0 评论 -
Lucene学习总结之一:全文检索的基本原理
一、总论Lucene是一套用于全文检索和搜寻的开源程式库,由Apache软件基金会支持和提供。Lucene提供了一个简单却强大的应用程式接口,能够做全文索引和搜寻。根据http://lucene.apache.org/java/docs/index.html定义:Lucene是一个高效的,基于Java的全文检索库。所以在了解Lucene之前要费一番工夫了解一下全文检索。那...转载 2017-05-08 00:03:12 · 178 阅读 · 0 评论 -
kafka之生产者、消费者
一、生产者生成者是指消息的生成者,即将消息发送到指定的Topic中的生产者。生产者可以通过特定的分区函数决定消息路由到Topic的某个分区。1、设计原则生产者就是将消息发送到指定的Topic中。生产者本质上就是指定具体的Topic,然后向目的端Broker Server发送ProducerRequest请求,并且通过分区函数可以指定具体的消息至特定的分区。生产者内部会动态维护与Topi...原创 2019-01-25 17:22:17 · 1007 阅读 · 0 评论