自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

日有寸进

世上只有一种英雄主义,就是在认清生活真相之后依然热爱生活。

  • 博客(20)
  • 资源 (1)

原创 Redis 哨兵机制

Redis 哨兵机制部署建议配置启动高可用原理三个任务主/客观下线领导者哨兵选举流程故障转移机制流程部署建议a,sentinel节点应部署在多台物理机b,至少三个且奇数个sentinel节点c,监听一个主节点配置在主从配置的基础上,进行配置。每个 redis 都有一个自己的 sentinel.conf配置端口号:配置 master 信息:mymaster 对应下面的< ...

2019-11-30 23:10:31 76

原创 Redis 主从模式

Redis 主从模式配置启动结构一主一从一主多从树状主从复制原理数据同步机制配置只用配置 slave 的 redis.conf,master 的配置不用改配置 master 的 ip 和 port配置 master 的密码直接在客户端里也可以改:当然,这样重启就没有效果了。取消 slave 身份:slave of no one启动先主后从结构一主一从用于主节点...

2019-11-30 13:17:26 82

原创 Redis 与 Lua

将 Lua 脚本内容加载到 redis, 得到返回的 sha1 值./redis-cli -a 12345678 script load "$(cat ipCount.lua)"检查 sha1 值的 Lua 脚本是否加载到 redis 中script exists 9b0fb3acef8d5d5ca0f2600a2e6de4376727818e...

2019-11-29 21:28:23 41

原创 Redis 的持久化

Redis 的持久化RDB相关操作优点缺点AOF流程redis.conf 配置Redis 支持RDB和AOF两种持久化机制,持久化可以避免因进程退出而造成数据丢失RDBRDB持久化把当前进程数据生成快照(.rdb)文件保存到硬盘的过程,有手动触发和自动触发。手动触发有 save 和 bgsave 两种命令save:阻塞当前 Redis,直到 RDB 持久化过程完成为止,若内存实例比较大...

2019-11-23 21:03:33 42

原创 Redis 基础汇总

Redis 基础介绍特性使用场景重要指令介绍redis 是一种基于键值对(key-value)数据库,其中value可以为string、hash、list、set、zset,可以满足很多应用场景。还提供了键过期,发布订阅,事务,流水线等附加功能。流水线:Redis的流水线功能允许客户端一次将多个命令请求发送给服务器,并将被执行的多个命令请求的结果在一个命令回复中全部返回给客户端,使用这个功...

2019-11-22 20:18:16 102

原创 Kafka 中集群的成员关系

Kafka 高级

2019-11-21 11:43:58 159

原创 Kafka 的物理存储机制

Kafka 的物理存储机制物理存储机制分区分配文件管理文件格式索引超时数据的清理机制物理存储机制Kafka的基本存储单元是分区。分区无法在多个broker间进行再细分,也无法在同一个broker的多个磁盘上进行再细分。在配置Kafka的时候,管理员指定了一个用于存储分区的目录清单——也就是log.dirs参数的值(不要把它与存放错误日志的目录混淆了,日志目录是配置在log4j.propert...

2019-11-21 11:40:29 151

原创 Kafka 里的重要功能——复制

Kafka 里的重要功能——复制复制replication-factor副本类型首领副本跟随副本优先副本工作机制处理请求的内部机制生产请求获取请求ISR使用ISR的原因ISR相关配置复制复制功能是 Kafka 架构的核心。在 Kafka 的文档里,Kafka 把自己描述成“一个分布式的、可分区的、可复制的提交日志服务”。复制之所以这么关键,是因为它可以在个别节点失效时仍能保证Kafka的可用性...

2019-11-21 10:46:47 185

原创 Linux 下 redis 安装

检查依赖yum install cpp -y yum install binutils -yyum install glibc-kernheaders -yyum install glibc-common -yyum install glibc-devel -yyum install gcc -yyum install make -y下载、解压、安装mkdir r...

2019-11-20 09:48:50 49

原创 删除 Kafka 主题需要注意的事

server.properties 设置 delete.topic.enable=true确保该 topic 没有被用到。使用 kafka/bin 目录下的命令行工具预删除:./bin/kafka-topics --delete --zookeeper 【server:port】 --topic 【topic name】这一步执行完之后,节点被标记为删除,并没有物理删除。...

2019-11-16 21:19:00 50

原创 Kafka Java客户端里的消费者

Kafka Java客户端里的消费者生产消费流程基础概念消费者群组订阅拉取提交和偏移量核心概念多线程安全问题群组协调分区再均衡生产消费流程基础概念消费者群组多个消费者可以组成消费者群组,一个群组里的消费者订阅的都是同一个主题,每个消费者接收主题某个分区的消息。往消费者群组里增加消费者是进行横向伸缩能力的主要方式。但是,一个群组里消费者数量超过了主题的分区数量,多出来的消费者是没有用...

2019-11-15 09:59:35 128

原创 Kafka 再均衡监听器示例

Kafka 再均衡监听器示例依赖介绍代码生产者生产任务消费者消费任务再均衡监听器结果生产者消费者启动生产者之前启动生产者后,第三线程关闭之前第三线程关闭后,分区再平衡分区再平衡之后依赖<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients...

2019-11-15 09:07:24 506

原创 Kafka Java客户端里的生产者

Kafka Java 客户端里的生产者生产者发送消息的基本流程使用Kafka生产者三种发送方式发送并忘记同步发送异步发送多线程生产常用配置顺序保证自定义分区器如果不了解Kafka的Java 客户端,可以先看看示例 Kafka Java 客户端入门示例生产者发送消息的基本流程从创建一个 ProducerRecord 对象开始,ProducerRecord 对象需要包含目标主题和要发送的内容...

2019-11-12 21:44:25 70

原创 Kafka 多线程生产与消费示例

Kafka 多线程生产与消费示例依赖用到的 VO生产者消费者结果生产者消费者依赖<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.3.0</ver...

2019-11-12 20:45:29 484 3

原创 Kafka Java客户端入门示例

Kafka Java 客户端入门示例生产者消费者结果生产者消费者生产者import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerRecord;import java.util.Properties;public class HelloKa...

2019-11-12 09:38:58 86

原创 Kafka 的 Java 客户端 consumer 收不到消息

server.properties 里broker.id=0listeners=PLAINTEXT://192.168.100.14:9092advertised.listeners=PLAINTEXT://192.168.100.14:9092zookeeper.connect=192.168.100.14:2181,192.168.100.15:2181,192.168.100.16:...

2019-11-11 10:22:45 534

原创 Kafka 集群的安装、配置和常用指令

配置 zookeeperKafka 运行依赖 zookeeper:zookeeper 集群配置下载解压地址选择:kafka_2.11-2.3.0.tgz更改配置分别更改三台机器上的 config/server.properties其中,broker.id 需要更改,其它的直接粘贴上去就行。broker0:broker.id=0listeners=PLAINTEXT://192....

2019-11-11 10:16:54 149

原创 Kafka 基本概念、使用场景、硬件配置

目录基本概念消息和批次主题和分区生产者和消费者、偏移量、消费者群组Broker 和集群保留消息为什么选择Kafka优点常见场景硬件配置对Kafka 性能的影响磁盘吞吐量/磁盘容量内存网络如何估算Kafka 集群中Broker的数量Broker 如何加入Kafka 集群基本概念消息和批次消息,Kafka里的数据单元,也就...

2019-11-10 20:22:47 580

原创 分布式锁与 MySQL/Redis/Zookeeper 实现方案

分布式锁与 MySQL/Zookeeper 方案问题来源解决思路方案比较模板方法模式MySQL 方案Zookeeper 方案方案一方案二问题来源在一个 JVM 里我们要用锁,可以用 synchronized 和 Lock。如果是在多个 JVM 里,该怎么办呢?解决思路MySQL 里,对于同一数据库的同一张表,不能插入相同的数据。往数据库里插入数据可以当做上锁的过程。Zookeeper 也...

2019-11-07 20:49:29 153

原创 zookeeper 相关协议、集群特点

zookeeper 高级一致性协议两阶段提交 two-phase commit (2PC)三阶段提交 three-phase commit (3PC)Paxos 算法集群解析集群特点集群中的角色集群一致性协议 ZAB 解析总览消息广播崩溃恢复背景(什么情况下会崩溃恢复)最终目的(恢复成什么样)一致性协议两阶段提交 two-phase commit (2PC)强一致性算法,很适合用作数据库的分...

2019-11-06 21:23:34 70

mysql-5.7.9-linux-glibc2.5-x86_64.tar.gz

Linux 使用的版本是centos 7,为方便起见,先把防火墙关闭,配置好网络,在安装部分,会分成两部分讲,首先讲单实例安装,也就是一台服务器上就装一个mysql,接下来就多实例安装,在一个服务器上安装2个甚至多个mysql.

2019-09-17

空空如也

空空如也
提示
确定要删除当前文章?
取消 删除