朱小厮的博客

你若盛开 蝴蝶自来 你若精彩 天自安排

新书《深入理解Kafka:核心设计与实践原理》上架,感谢支持~

新书上架 初识 Kafka 时,笔者接触的还是 0.8.1 版本,Kafka 发展到目前的 2.x 版本,笔者也见证了Kafka的蜕变,比如旧版客户端的淘汰、新版客户端的设计、Kafka 控制器的迭代优化、私有协议的变更、事务功能的引入等。Kafka从昔日的新星逐渐走向成熟,再到今日的王者地位不可...

2019-02-24 00:40:53

阅读数 1738

评论数 7

消息中间件(Kafka/RabbitMQ)收录集

本篇主要整理工作中遇到的一些消息中间件的相关知识,包括Kafka, RabbitMQ, RocketMQ, ActiveMQ等,不排除收录其他消息中间件的可能。 这里会持续收录相关知识,包括安装、部署、使用示例、监控、运维、原理等。 所有新撰写的与中间件有关的文章都会收录与此,注意保存本文...

2017-01-26 10:42:12

阅读数 8736

评论数 23

一文详解TCP

记得以前面试的时候被面试官问起TIME_WAIT有什么痛点,当时只记得TCP三次握手、四次挥手之类的,至于其中的某个状态还真是记不起来,之前也没有过多关注过,还有对于拥塞控制的概念也比较模糊。 TCP报文格式 TCP大家都知道是什么东西,这个协议的具体报文格式如下: 标志位 URG...

2018-11-13 00:36:18

阅读数 1542

评论数 5

RocketMQ配置

1. 客户端的公共配置类:ClientConfig 参数名 默认值 说明 namesrvAddrNameServer 地址列表,多个NameServer地址用分号隔开 clientIp 本机IP 客户端本机IP地址,某些机器会发送无法识别客户...

2017-01-26 11:04:58

阅读数 12218

评论数 0

MySQL Binlog解析

概述 MySQL的安装可以参考:Linux(CentOS)中常用软件安装,使用及异常——MySQL, VmTools MySQL关于Binlog的官方文档:The Binary Log 基于Binlog的主备复制:MySQL主备复制原理、实现及异常处理 什么是 Binlog MySQ...

2016-11-03 12:32:29

阅读数 12713

评论数 0

数据库相关中间件收录集

数据库中间件 这里主要介绍互联网行业内有关数据库的相关中间件。数据库相关平台主要解决以下三个方面的问题: 为海量前台数据提供高性能、大容量、高可用性的访问 为数据变更的消费提供准实时的保障 高效的异地数据同步 应用层通过分表分库中间件访问数据库,包括读操作(Select)和写操作(upd...

2016-10-09 18:15:09

阅读数 18597

评论数 2

什么是Zero-Copy?

概述 考虑这样一种常用的情形:你需要将静态内容(类似图片、文件)展示给用户。那么这个情形就意味着你需要先将静态内容从磁盘中拷贝出来放到一个内存buf中,然后将这个buf通过socket传输给用户,进而用户或者静态内容的展示。这看起来再正常不过了,但是实际上这是很低效的流程,我们把上面的这种情形抽...

2016-09-19 21:28:17

阅读数 13735

评论数 0

MySQL主备复制原理、实现及异常处理

复制概述 MySQL支持三种复制方式:基于行(Row)的复制、基于语句(Statement)的复制和混合类型(Mixed)的复制。 基于语句的复制早在3.23版本中就存在,而基于行的复制方式在5.1版本中才被加进来。这两种方式都是通过在主库上记录二进制日志、在备库重放日志的方式来实现异步的数据...

2016-09-14 11:29:04

阅读数 9573

评论数 4

谈谈对Canal(增量数据订阅与消费)的理解

概述 canal是阿里巴巴旗下的一款开源项目,纯Java开发。基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了mysql(也支持mariaDB)。 起源:早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据...

2016-09-08 22:10:30

阅读数 15901

评论数 0

大型分布式网站术语分析

1. I/O优化 增加缓存,减少磁盘的访问次数。 优化磁盘的管理系统,设计最有的磁盘方式策略,以及磁盘的寻址策略,这是在底层操作系统层面考虑的。 设计合理的磁盘存储数据块,以及访问这些数据库的策略,这是在应用层面考虑的。例如,我们可以给存放的数据设计索引,通过寻址索引来加快和减少磁盘的访问量,还可...

2016-06-02 08:46:21

阅读数 15294

评论数 9

Redis和Memcached的区别

说到redis就会联想到memcached,反之亦然。了解过两者的同学有那么个大致的印象:redis与memcached相比,比仅支持简单的key-value数据类型,同时还提供list,set,zset,hash等数据结构的存储;redis支持数据的备份,即master-slave模式的数据备份...

2016-04-13 20:14:52

阅读数 21819

评论数 0

Redis内存使用优化与存储

Redis数据类型 最为常用的数据类型主要有五种:String, Hash, List, Set和SortedSet. redis内部使用一个redisObject对象来表示所有的key和value。redisObject最主要的信息如下图所示:  type代表一个value对象具体是何种数据类...

2016-04-12 14:24:26

阅读数 23519

评论数 3

Jedis对redis的操作详解

通过前一篇《redis的简单使用》的简单介绍,本篇主要阐述Jedis对redis的五大类型的操作:字符串、列表、散列、集合、有序集合。 JedisUtil 这里的测试用例采用junit4进行运行,准备代码如下: private static final String ipAd...

2016-04-11 21:28:02

阅读数 33267

评论数 11

Redis简述

Redis 简介Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库。 Redis 与其他 key - value 缓存产品有以下三个特点: Redis支持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进行使用。 Redis不仅仅支持简单的k...

2016-04-11 11:05:58

阅读数 7910

评论数 6

采用Memcached实现分布式Session

memcached-session-manager是一个开源的高可用的Tomcat session共享解决方案,它支持Sticky模式和Non-Sticky模式。Sticky模式表示每次请求都会被映射到同一台后端Web服务器,知道该Web服务器宕机,这样session可先存放在服务器本地,等到请求...

2016-04-06 19:29:37

阅读数 11054

评论数 1

Memcached安装与配置

memcached是danga.com的一个项目,它是一款开源的高性能的分布式内存对象缓存系统,最早是给LiveJournal提供服务的,后来逐渐被越来越多的大型网站所采用,用于在应用中减少对数据库的访问,提高应用的访问速度,并降低数据库的负载。 为了在内存中提供数据的高速查找能力,memcach...

2016-04-06 19:18:04

阅读数 4538

评论数 0

LVS:三种负载均衡方式比较+另三种负载均衡方式

什么是LVS?  首先简单介绍一下LVS (Linux Virtual Server)到底是什么东西,其实它是一种集群(Cluster)技术,采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率,将请求均衡地转移到不同的服务器上执行,且调度器自动屏蔽掉服务器的故障,从而将一组服务器构...

2016-02-20 18:06:33

阅读数 11018

评论数 0

怎么确保网站的可用性

网站的高可用架构设计的主要目的就是保证服务器硬件故障时服务依然可用、数据依然保存并能够被访问。   实现上述高可用架构的主要手段是数据和服务的冗余备份及失效转移。   典型的分层模型是三层,即应用层、服务层、数据层;各层之间具有相对独立性,应用层主要负责具体页面逻辑处理;服务层负责提供可复用的...

2016-02-20 16:00:38

阅读数 2233

评论数 0

浅析数据一致性

什么是数据一致性?  在数据有多分副本的情况下,如果网络、服务器或者软件出现故障,会导致部分副本写入成功,部分副本写入失败。这就造成各个副本之间的数据不一致,数据内容冲突。 实践中,导致数据不一致的情况有很多种,表现样式也多种多样,比如数据更新返回操作失败,事实上数据在存储服务器已经更新成功。CA...

2016-02-19 15:27:38

阅读数 25033

评论数 5

如何提升网站的性能?

概述  性能是网站的一个重要指标,除非是没得选择(比如12306),否则用户无法忍受一个响应缓慢的网站。一个打开缓慢的网站会导致严重的用户流失,很多时候网站性能问题是网站架构升级优化的触发器。可以说性能是网站架构设计的一个重要方面,任何软件架构设计方案都必须考虑可能会带来的性能问题。   也正是...

2016-02-18 12:27:05

阅读数 2768

评论数 1

提示
确定要删除当前文章?
取消 删除