自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

重思想

思维决定未来

  • 博客(151)
  • 资源 (9)
  • 收藏
  • 关注

原创 MySQL 8.0 低并发性能惊人反转:优化后的显著提升

在优化之前,官方的 MySQL 8.0 版本在低并发情况下明显逊色于 5.7 版本。然而,在对 redo log 机制进行优化后,MySQL 8.0 在低并发场景下的性能有了显著提升,速度实现了惊人的反转。并发 官方8.0版本 8.0改进版本 5.7 8.0改进版本比5.7提升性能。

2024-09-11 12:05:51 461

原创 开发中的网络问题逻辑推理分析

基于TCP/IP的逻辑推理,大部分软件从业人员都不是很懂,导致很多问题都被误认为诡异问题。有些人是惧怕TCP/IP网络书籍中的复杂知识内容,有的是被wireshark[1]显示的深红色内容所干扰。

2024-09-10 11:57:24 1118

原创 TCPCopy原理浅析(转载)

TCPCopy是一款十分优秀的开源项目,但因为笔者能力有限,本文只介绍了TCPCopy的核心技术原理,很多细节并未涉及。不过还是希望通过本文的介绍,能够对TCPCopy和流量回放技术感兴趣的同学有所启发!

2024-09-10 11:44:22 487

原创 数据结构与算法:为何小数据量下插入排序无敌?

从数学角度看,直接插入排序似乎并不无敌,但它为何被广泛使用呢?即使在基础库中实现快速排序时,也会尽量使用直接插入排序,尤其在数据量较小(例如C++标准库中小于16个元素)时。这是因为直接插入排序的思想与计算机体系架构高度契合,顺序处理使其非常适合cache操作,效率极高。在算法复杂度尚未显著影响性能时,cache友好性的优势则显得尤为重要。

2024-09-20 10:39:51 262

原创 数据结构与算法:快速排序高效性的奥秘

从数学角度来看,快速排序似乎并没有明显的高效理由,但它为何如此高效呢?这主要是因为快速排序的思想与现代体系架构高度契合,非常适合cache操作。在切分过程中,它采用顺序访问数据,而非跳跃式访问,这样充分利用了当前体系架构的优势,从而显著提升了性能。因此,学习算法时必须与计算机体系架构相结合,才能真正掌握算法的精髓,并在各种优化中充分发挥知识的力量。

2024-09-20 10:32:58 520

原创 数据结构和算法之我见

只有在实践中领悟到数据结构和算法的魅力,才能真正体会到作为程序员的快乐。

2024-09-19 11:13:14 119

原创 你真的掌握数据结构与算法了吗?

下面十大问题,可以评估你是否真的掌握了数据结构和算法。

2024-09-19 11:07:33 625

原创 程序员20年生涯中的十大挑战

大四时放弃专业,跨入计算机领域的挑战 三个月备考研究生的挑战 零基础如何顺利完成研究生课程的挑战 毕业后的求职挑战 提升算法技能的挑战 从零开始开发的广告投放系统零失误的挑战 从零基础实现通用TCPCopy的挑战 从零基础实现MySQL高可用的挑战 面对游戏开发团队一个月解决不了的性能问题,如何快速解决的挑战 将MySQL 8.0性能提升至超越5.7的挑战

2024-09-18 11:42:04 178 1

原创 程序员职业生涯中的最大挑战与问题

如何继续保持职业生涯质量,确保不下降?回顾这20年的精彩历程,虽然在解决问题上取得了很多成就,但现在暂时离开了打工生活。很多人认为大龄程序员找工作非常困难,对99.99%的人来说确实如此。大龄程序员往往在简历筛选阶段就被挡在门外,唯一的打工出路是成为顶级专家,但达到这样的水平的人非常少。

2024-09-18 11:22:27 234

原创 10月份开源的MySQL版本新特性介绍

无论低并发还是高并发,时延表现将显著超越官方8.0和5.7版本。 解决MySQL扩展性问题,支持高级优化特性。 实现真正的高可用性。 加快从库回放速度,高可用版本下可实现毫秒级时延。 吞吐量支持百万tpmC。

2024-09-16 13:35:00 316

原创 基于MySQL 8.0.39的高性能优化版将于10月份开源

基于8.0版本推出的实用优化版,注重性能和稳定性,旨在为MySQL做出贡献。

2024-09-16 13:31:24 555

原创 AI时代的到来,让英文写作变得简单

曾几何时,我对英文写作感到十分畏惧,甚至连词汇都难以想出。然而,ChatGPT 的出现让我鼓起了写英文书籍的勇气。这不仅提升了我的英文水平,还拓宽了我的视野。现在,即使辅导孩子学习英语,我也不再感到畏惧。

2024-09-15 23:15:18 229

原创 精通抓包分析:无与伦比的逻辑推理能力

我最初对开发过程中的网络问题一无所知,但经过十年尤其是 TCPCopy 开发的洗礼,我已经在这个领域达到了扫地僧的水平了。

2024-09-15 23:09:52 186

原创 TCP案例问题分析

这本书是五年前写的,我们计划近期放出来。书中的内容主要涉及‘开发中的网络问题逻辑推理与分析’,希望对大家有所帮助。

2024-09-14 08:25:59 395

原创 一行代码影响了 MySQL 8.0 的发展

具体分析过程将在第二版书籍中详细讲述。用户抱怨 MySQL 8.0 性能差,通常是在通过 SysBench 测试对比后发现其性能不如 5.7 版本,导致许多用户不敢上线,担心承担责任。经过深入诊断和分析,我们发现问题的根源在于 Redo log 的改造,忽视了低并发场景的性能。一行代码的改动,直接导致大量用户不敢上线。

2024-09-13 08:35:29 128

原创 有愿意尝试MySQL超级性能版本的吗?

我对 MySQL 进行了多维度的性能优化,涵盖了低并发和高并发场景。感兴趣的朋友欢迎评论或私信交流。如果反馈人数较多,我会将测试程序和代码上传至 GitHub。并发数量 5.7版本 8.0.39官方版本性能 8.0.39优化版本。

2024-09-13 08:28:36 330

原创 博士论文和官方MySQL犯的低级失误

具体见:Evaluating Performance Gains in MySQL Lock Scheduling Algorithms | blogs

2024-09-12 10:02:43 369

原创 性能问题居然不是Bug?官方MySQL的回应让人崩溃

给官方提出更优的Paxos性能优化算法建议却遭否决,官方似乎不知道,我是最了解MySQL高可用模块的人。

2024-09-12 09:58:12 205

原创 我决定孤身挑战 MySQL 官方

除了 redo log 在低并发性能上的问题,我的英文书籍还详细介绍了 MySQL 的缺陷及其修复。我计划继续向官方提出问题,如不采纳,我将开源优化后的 MySQL,全面提升其性能。

2024-09-11 12:43:22 476

原创 MySQL 官方版 Redo Log 机制存在严重缺陷

官方对 redo log 的优化主要针对高并发场景,但线上高并发情况较少,这使得许多用户不敢升级到 MySQL 8.0。

2024-09-11 12:38:47 95

原创 写了一本关于程序员如何解决疑难问题的英文书籍

中国人写英文书籍不容易,写这本书的目的是为了让MySQL更好。

2024-09-11 08:34:34 149 1

原创 分析程序问题的核心在于逻辑推理

数据结构和算法固然美妙,用起来也很爽,但它们的实际使用频率相对较低。对于程序员来说,逻辑思维的训练才是重中之重。

2024-09-11 08:32:37 125

原创 tcpburn开源了

tcpburn是由网易自主研发的能够模拟千万级别并发用户的一个软件

2013-11-06 15:37:59 6508 1

原创 如何利用pcap接口从数据链路层发包?

采用pcap发送数据包,不仅不影响在线系统的IP层,而且可以使tcpcopy发包的性能达到最高。这里讲述的是tcpcopy如何使用pcap来发送数据包和实战中需要注意的若干事项。

2013-08-21 15:38:03 11163 38

原创 tcpcopy新架构具体复杂应用实例(针对tcpcopy0.9系列版本)

在线系统介绍:假设我们有在线机器A,在线机器B,在线机器C三台服务器,其中在线机器A,上面运行nginx(80端口)的业务系统,供最终用户访问,同时nginx还会内网访问在线机器B上面的adserver(端口11311)业务,在线机器C运行着伪在线业务msyql(利用sysbench模拟的)测试系统:我们有测试服务器a,b。其中a上面运行如下几个系统:1)nginx业务系统

2013-05-30 15:55:51 8240 3

原创 tcpcopy架构漫谈

基于server的请求回放领域,一般分为离线回放和在线实时复制两大领域,一般研究者都是从离线回放的角度在苦苦研究,而在实时复制领域,研究非常少,至少从sigcomm评审人的评审意见来看,没有看到相关内容。请求实时复制,据我所知,一般可以分为两类:1)基于应用层的请求复制2)基于底层数据包的请求复制传统的做法一般从应用层面进行复制,比如基于服务器的请求复制,这种复制的好处就是

2013-05-20 15:13:23 39181 53

原创 tcpcopy1.0系列使用方法

tcpcopy 1.0系列用法

2013-05-20 15:12:47 27720 3

原创 利用tcpcopy,如何复制在线请求到lvs的子系统中去?

由于1.0系列已经不建议使用传统iptables的方式来截获响应包,因此只书写route的使用方式使用方式和其它应用类似,但需要注意的是:1)一定要让lvs监控程序能够访问lvs的real servers,其它响应路由到运行intercept的机器上面2)辅助服务器,压力比较大的时候,interept可以采用多个实例甚至采用多台服务器来承担应答包的截获工作

2013-02-26 11:50:01 5957 2

原创 注意,tcpcopy 0.5版本和tcpcopy 0.4版本用法有很大的差别,而tcpcopy 1.0和tcpcopy 0.9差别也非常大

多使用tcpcopy -h和intercept -h来查看tcpcopy 0.5版本+的用法,tcpcopy 0.4以下的老版本不推荐使用了

2013-02-08 11:56:50 4028

原创 tcpcopy能否复制请求到vip?

有人写信问:测试环境:lvs 192.168.1.1vip 192.168.1.2rs1 192.168.1.21rs2 192.168.1.22线上业务:单独服务器,实ip一个。在lvs上运行./interception & (0.5以下版本用法)在线上服务器上运行./tcpcopy 实ip 80 192.168.1.2 80 (0.5以下版本用法)

2012-11-21 10:12:46 4160 6

原创 中日韩开源大赛,tcpcopy进入国内4强

从讲的过程中,就已经发现了必然晋级了,因为那些上层人士从无精打采,一下子变成了精神抖擞。tcpcopy与架构结合起来讲,一般都基本有戏。意识到冲绳原先是中国的,就不想去这个敏感地带(还是危险地带,军事重地)这里感谢程开源,也感谢余庆,还有各位战友。最后也感谢上层人士能够意识到tcpcopy对架构和软件工程的意义。

2012-10-25 10:07:12 6180 1

原创 时间真快,做开源软件1年半了

从2011年过年后,在公司没事做,就开始写开源软件,第一个软件是nginx的模块,以hmux协议访问resin,这是运维的需求,闲得蛋疼,所以才写的,结果开源以来,还没有人提出bug,此模块日均流量达到50亿pv,也算没有白写;第二个软件就是tcpcopy,比第一个成功多了,目前国内的大部分互联网公司应该知道或者已经使用此软件,也算没有白写,而且这个开源的活跃度远超第一个,用户不断提出需求,所以还

2012-08-09 14:37:24 4750 3

原创 感谢csdn,经过一年努力,tcpcopy终于在很多互联网公司应用了

经过一年的努力,目前国内大量互联网公司已经使用tcpcopy进行流量的复制,目的是提前解决上线过程中的问题。目前最新代码在如下地址:https://github.com/wangbin579/tcpcopy最新文档在docs目录

2012-08-03 17:58:09 7515 7

原创 tcpcopy复制流量到测试服务器后,如何访问测试服务器?

我们可以在执行intercept命令的时候,增加ip地址列表,tcpcopy 0.5版本及其以后版本运行如下:./intercept -x 61.135.250.86,61.135.250.87后面的ip地址列表代表了这些ip地址的访问,将不会被iptables设置的命令drop,直接会返回客户端。这里需要注意的是这些ip地址的访问,一定要直接访问测试服务器,而不能

2012-04-19 10:36:30 8524 16

原创 如何无限增大在线压力?

方法有四种,这里讲述效果较好的两种,比较适合于中小网站,方法如下:针对0.5版本及其以后版本./tcpcopy -x 服务器应用端口号-测试服务器ip地址:测试服务器应用端口 -n xx -f yy举例如下:1)在在线服务器上执行多个tcpcopy实例,但命令稍微不同,在原有命令基础上会增加 -f参数     比如你想复制3倍的在线流量或者逐步增加流量,你可以执行如

2012-04-19 10:30:59 6058 1

原创 tengine vs nginx 在线性能对比

今天针对我们的系统,进行了tengine与nginx的性能对比,下载地址:http://code.google.com/p/tcpcopy/downloads/list

2012-04-13 19:10:24 13334 1

原创 请多多支持tcpcopy,如果感兴趣的话,请投我一票

不想tcpcopy就这么被埋没投票地址:http://vote.weibo.com/vid=1629755tcpcopy ppt文档:http://code.google.com/p/tcpcopy/downloads/list

2012-04-12 18:27:28 3769

原创 nginx pk apache2.4文档出炉

这里讲述了nginx如何在实际应用中完爆apache,有兴趣的可以下载看看。下载地址:https://github.com/wangbin579/tcpcopy/downloads或者http://tcpcopy.googlecode.com/files/nginx_pk_apache_2.4.pdf欢迎指正。

2012-03-29 13:34:08 4637 5

原创 nginx pk apache 2.4全过程系列即将公布

nginx是异步处理模型,只需要几个进程就能够处理大量在线请求,而apache 2.4仍然是进程模型或者线程模型,即仍然采用大量线程来处理大量在线请求。之前淘宝曾经做过nginx和apache 2.4的性能对比,但被批很多(http://blog.zhuzhaoyuan.com/)。本人采取不同的线路来系统地科学地对比nginx和apache 2.4进行代理方面的性能对比,我们的利器就是tcpco

2012-03-26 10:14:10 5004 1

原创 tcpcopy避免了nginx的两大问题

当利用nginx某个版本的情况下,也许你不知道这个版本有哪些问题,那怎么避免上线过程中出现的问题呢?下面就是利用我们开发的tcpcopy来成功避免了上线过程中才会出现的两大问题(其它压力测试工具是发现不了的或者很难发现),希望对你们有所参考。第一次是二号人物Maxim Dounin书写的keepalive模块的问题,具体如下:http://blog.csdn.net/wangbin57

2012-03-19 18:21:58 4653

java代码质量控制

非常实用的代码控制工具介绍,例如jprofile,PMD等工具的ppt介绍

2011-04-16

java方面的代码质量控制

讲述了java中常用质量控制工具的应用 PMD查代码重复 UCDetector判断环的存在 JDepend查包依赖程度,耦合性 Metrics查函数复杂度 JLint来检测同步问题和死锁问题 Findbugs+PMD检测静态错误 Clover检测废弃代码 JIP检测代码瓶颈 JProfile(破解版本)

2011-04-16

异步编程及其在广告投放中的应用

讲述了把memcached代码改造成异步架构,并利用异步思想构造了多层异步架构,对于每秒2万请求的应用非常有效,改造后利用的服务器数量同比double click降低了一半以上

2011-04-16

中等规模海量数据处理实例分析

只需要一台普通服务器计算近60亿pv数据

2011-04-16

Understanding the Linux Kernel

linux内核机制----不可多得的讲述linux内核的书籍

2009-04-24

Inside Java Virtual Machine

成为高手必备的书籍,一定要了解的一本书 读了此书,可以了解java的多态是如何实现的 为什么成员变量不具有多态性

2009-03-10

Understanding the Linux Kernel 3rd Edition

一本讲述linux内核的好书,绝对值得一看。 linux爱好者赶紧下吧 Understanding the Linux Kernel 3rd Edition.chm

2009-03-10

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除