认知 行动 坚持

转载 NoSql之key-value数据库------腾讯CKV海量分布式存储系统（其中有和memcache， redis的对比）

转载地址：https://www.csdn.net/article/2014-03-11/2818723《程序员》杂志2014年3月刊CKV分布式存储腾讯云计算NoSQL摘要：腾讯CKV，是腾讯自主研发的高性能、低延时、持久化、分布式KV存储服务。在腾讯的微信平台、开放平台、腾讯云、腾讯游戏和电商平台广泛使用，日访问量超过万亿次。本文将全面剖析CKV的实现原理和

转载 NoSQL入门------关于NoSQL

转载地址：http://blog.csdn.net/testcs_dn/article/details/51225843        关于NoSQL的专栏申请了可能快一年了，也没有填充一篇文章，今天看到，还是先写一篇放进去吧。现在应用NoSQL的人也非常多了，大家可能都不再陌生了，中文方面的资料已经漫天飞舞了。但是查看知乎中 NoSQL 相关话题的回答数却寥寥无几。可能是大家都更多的

原创 tcp 80和443端口探测代码

以前写过， 最近要用， 来整合一下， 方便后续用：#include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #i

转载 TCP全连接队列和半连接队列已满之后的连接建立过程抓包分析

转载地址：https://www.cnblogs.com/menghuanbiao/p/5212131.html最近项目需要做单机100万长连接与高并发的服务器，我们开发完服务器以后，通过自己搭的高速压测框架压测服务端的时候，发生了奇怪的现象，就是服务端莫名其妙的少接收了连接，造成了数据包的丢失，通过网上查资料，和自己的实践，下面是我做实验，抓包分析的过程如下：总共5个

转载 浅谈UDP(数据包长度，收包能力，丢包及进程结构选择)------很好

转载地址：https://www.cnblogs.com/linuxbug/p/4906000.htmlUDP数据包长度UDP数据包的理论长度udp数据包的理论长度是多少，合适的udp数据包应该是多少呢？从TCP-IP详解卷一第11章的udp数据包的包头可以看出，udp的最大包长度是2^16-1的个字节。由于udp包头占8个字节，而在ip层进行封装后的ip包头占去20字

转载 戏说消息队列的利弊

转载地址：https://www.zhihu.com/question/34243607什么是消息队列？小红是小明的姐姐。小红希望小明多读书，常寻找好书给小明看，之前的方式是这样：小红问小明什么时候有空，把书给小明送去，并亲眼监督小明读完书才走。久而久之，两人都觉得麻烦。后来的方式改成了：小红对小明说「我放到书架上的书你都要看」，然后小红

原创 圆了十五年前的期待------遇见乒乓大满贯楠姐(王楠)

2003年，刚从初中升入县城高中，第一次看楠姐打球， 后来了解越来越多， 把楠姐当偶像， 也给了我很多精神上的激励。任何关于楠姐的消息都不会错过，也期待将来某天能见面 。 后来， 读了大学， 网络信息很发达， 对楠姐了解更多了。今天，在球场看到楠姐了，就坐在我旁边， 人很亲切， 也算圆了十五年前的期待， 感觉如梦一般， 而自己早已不再年少。 再见，楠姐。...

原创 为什么信号的时域和频域不可能同时受限？

为什么信号的时域和频域不可能同时受限？ 这是一位考研的朋友问我的问题， 我查了一下网络， 目前没有看到网上对这个问题的证明， 我来证明一下：       1. 任何时域受限的信号可以看做是自己和门函数的乘积。       2. 时域的乘积对应频域的卷积。       3. 门函数的频谱是整个实数集，即频域无限。       4. F(jw)和G(jw)卷积后， w的取值的最小值是F

原创 tcp半连接和完全连接队列图

看图理解：

原创 搞懂了通货膨胀,通货紧缩的原因,影响和对策

区块链最近炒得太火了，于是顺便看了下比特币，思考了一下货币的历史和本质。然后想到了通货膨胀和通货紧缩，自己琢磨了一番， 最后查资料发现，我理解的跟资料的介绍几乎一致。      看来， 逻辑都是相通的。      有点意思。有兴趣的朋友可以自己思考下， 然后查下资料。

原创 什么是分布式数据库中的CAP理论（容易误解）？------内附CAP原则下的常用数据库

网上有很多关于CAP理论的介绍， 感觉很多文章没有说清楚， 本想写一篇文章来介绍一下， 但我发现wiki上的介绍更好， 所以直接引用过来（红色的中文是我的注解）：Intheoretical computer science, theCAP theorem, also namedBrewer's theoremafter computer scientistEric B

原创 浅谈分布式数据库

首先来看图：      这就是一个分布式数据库， 数据是存在于各地的， 在物理上分离， 但在逻辑上， 他们是一个整体， 整体对外具有透明性，也就是说， 使用这个分布式数据库的人根本就不知道这个数据库是分布式的还是非分布式的， 也不需要了解。      跟传统的单机集中式数据库相比， 有什么优点呢？ 很容易总结出来， 我不必啰嗦。      这里有个疑问， 数据是分布存储的， 那

原创 集群(cluster)和distributed(分布式)有什么区别？

很多人以为， 把多个计算机堆积在一起，就成了集群。 在很多场合， 你会看到分布式集群这样的字眼， 其实， 这是不太准确的。集群和分布式还是有差别的， 鉴于是舶来品，搜cluster和distributed两个字的具体含义， 会有更加清晰的答案。       集群：  众多相同的业务，部署在众多不同机器上， 分别执行。 这些众多机器之间，不需要沟通配合。       分布式：同一个业务，拆分

原创 mysql的in会让索引失效吗？

mysql的in会让索引失效吗？不会！ 看结果：mysql> desc select * from tb_province where name in ('lily3', 'lily2', 'lily1');+----+-------------+-------------+------------+------+---------------+------+--...

原创 mysql慢查询优化------在可用limit的时候要用limit

很多时候， 我们预期查询的结果最多是1条记录数据， 那么这个时候， 最好用上limit 1,  当查到这条数据后， mysql会立即终止继续查询， 不进行更多的无用查询， 从而提升了效率。       我们来实际测试一下， 在一个拥有10万的mysql表中， 查找lily的分数（假设系统中只有1个lily, 而我们预期也只需要这条数据）。为了显示出时间的差别， 我并不对表的name字段建索引。

原创 mysql慢查询优化------仔细审视你的select *

select * 会影响效率， 要仔细审视， 你真的需要所有的列吗？ 恐怕未必。 主要问题是：     1.   获取全部列， 会让优化器无法完成索引覆盖扫描这类优化。     2.   获取全部列， 会带来额外的cpu, 内存和I/O消耗， 这一点很好理解。        有兴趣的朋友可以看下《高性能MySQL》

原创 《跃迁》 古典

这本书不错， 其中有些观点跟我的观点不谋而合。 有时候，读一本书时， 发现作者观点跟自己悟出的东西一致时， 是很开心的。 当然， 书中也有一些牵强和略带扯淡的逻辑和论断。       总体来说， 书还算不错， 值得一读。       最后， 不得不说， 人和人最大的区别， 在于认知。

原创 难忘2017年5月20日的那次雪崩

某业务某路径上的机器只有两台，业务高峰到来后，这两台机器出现了高负载， 缓冲区中请求堆积， 队列中的请求超时， 产生雪崩，至今仍然历历在目，永远无法忘记当时的窘迫。 mark一下。...

转载 MySQL逻辑架构及性能优化原理

转载地址：http://blog.csdn.net/fuzhongmin05/article/details/70904190说起MySQL的查询优化，相信所有人都了解一些最简单的技巧：不能使用SELECT *、不使用NULL字段、合理创建索引、为字段选择合适的数据类型….. 你是否真的理解这些优化技巧？是否理解其背后的工作原理？在实际场景下性能真有提升吗？我想未必。因而理解这

转载 Hash(不需要key)， MAC（带key），HMAC(带key)说明

转载地址：https://www.cnblogs.com/jhj117/p/5945866.htmlHash是一种从任何一种数据中创建小的数字“指纹”的方法。散列函数把消息或数据压缩成摘要，使得数据量变小，将数据的格式固定下来。如果两个散列值是不相同的（根据同一函数），那么这两个散列值的原始输入也是不相同的。这个特性是散列函数具有确定性的结果，具有这

转载 记一次redis挂机导致的服务雪崩事故，不对，是故事~ （非常好的雪崩案例分析）

转载地址：http://www.mamicode.com/info-detail-1887727.html 事故时常有，最近特别多！但每次事故总会有人出来背锅！如果不是自己的锅，解决了对自己是一种成长，如果是自己的锅，恐怕锅大了，就得走人了，哈哈哈。。。　　这不，最近又出了一个锅：从周五开始，每天到11点就不停的接到服务器报警，对于一般的报警，我们早已见怪不

原创 小谈后台服务过载、雪崩、过载保护的实际案例（这已经不是我第一次遇到真实雪崩案例了）

在前面的博文中， 我们聊过系统过载、雪崩和过载保护， 今天继续聊聊， 顺便看看一个实例。      过载： 超过系统负载。       雪崩： 系统过载导致不可用，系统对外的服务能力通常急剧降为零。      过载保护： 剔除过载或者已经超时（过时）的请求，从而保证系统尽可能能用。      举个例子：      你每天只能处理1项任务， 然后领导每天给你塞1项任务，

原创 贝叶斯公式及其含义

直接看：       对了， “炸弹哥”是谁， 我不说。

原创 全概率公式及其含义

直接看：

转载 腾讯后台开发技术总监浅谈过载保护 小心雪崩效应

转载地址：http://www.chinaz.com/news/2012/0510/250784.shtml摘要： 每个系统，都有自己的最大处理能力，后台技术人员对此必须很清楚，且要注意自我保护，不然就会被雪球压垮，出现雪崩。雪球：对于时延敏感的服务，当外部请求超过系统处理能力，如果系统没有做相应保护，可能导致历史累计的超时请求达到一定规模，像雪球一样形成恶性循

原创 用shell脚本来给mysql加索引

刚好用到， mark一下：#! /bin/bashtb_base=tb_student_arr=("0" "1" "2" "3" "4" "5" "6" "7" "8" "9" "a" "b" "c" "d" "e" "f")GetCmd(){ for value in ${arr[@]} do for value2 in ${arr[@]} do tb_na

原创 rm * .tgz 差点就要哭了

差点就要哭了：rm * .tgz      本来的意思是想执行：rm *.tgz

原创 切比雪夫不等式（揭示了随机变量值与数学期望的关系）

随机变量值可能偏离数学期望， 但不会太偏， 看切比雪夫不等式：     可证。

原创 辛钦大数定理（揭示了均值和数学期望的关系）

很多统计学方法都是有数学原理作为支撑的， 来看看辛钦大数定理揭示的关系：      可证。

原创 伯努利大数定理（揭示了频率和概率的关系）

在概率的公理化体系中， 定义了概率， 而且， 在这个定义中， 概率和可能行（频率）没有任何毛关系。那概率怎么就经常和生活中的可能性（频率）就扯上了关系呢？ 概率的公理化定义可没揭示这个原理。       揭示概率与频率关系的是伯努利大数定律， 从此，概率与可能性就扯上了关系了，从而也说明了古典概率的定义是合乎逻辑的， 来看看伯努利大数定理：       可证。

原创 概率的公理化定义和信息量定义公式推导

原创 《智能时代》吴军

这是一本非常好的书， 值得读一读。      很早很早以前， 我就在思考并认同这样一个道理： 世界是确定的，遵循牛顿定律。 后来学到概率论和信息论， 我是有些反感的， 觉得这是不确定的玄乎东西, 没有数学依据， 后来看到了概率的公理化定义和香农对信息的定义， 才对概率论和信息论产生了敬畏。 后来， 又听过了测不准原理和量子力学， 才意识到， 世界中真的有不确定的东西（1. 比如测不准原理揭示的

原创 软件开发之道

电子在原子核周围旋转，构成了原子，原子构成了分子。       电子的定向移动形成电流， 各种电子元件一起组成基本的电路。       模拟电路， 数字电路， 各种逻辑门电路。       逻辑门电路组装成各种芯片。       继续组装可以构成集成电路， 超大规模集成电路， 于是有了各种各样的开关， 数以亿计的开关。       可以通过拨弄各种开关来控制cpu, 但是这样很

原创 linux的cut命令很有用

要用到，来mark一下：ubuntu@VM-0-15-ubuntu:~/taoge$ cat b.txt abcabcdubuntu@VM-0-15-ubuntu:~/taoge$ cat b.txt | cut -c 1aaubuntu@VM-0-15-ubuntu:~/taoge$ cat b.txt | cut -c 2bbubuntu@VM-0-15-ubuntu

原创 mysql字符串之大小写匹配查询

直接看：mysql> create table test (name varchar(64));Query OK, 0 rows affected (0.04 sec)mysql> insert into test set name = 'taoge';Query OK, 1 row affected (0.03 sec)mysql> select * from test;+--

原创 mysql之\c

敲了一个错误的mysql命令， 想取消怎么办？ 如果用ctrl + c, 就直接退出了。怎么办呢？来看看：mysql> show tables; \c+-------------------+| Tables_in_db_test |+-------------------+| tb_test || tb_test_ex |+-----------

转载 MYSQL 查看最大连接数和修改最大连接数

转载地址：http://www.cnblogs.com/zhengah/p/4775565.html1、查看最大连接数show variables like '%max_connections%';2、修改最大连接数set GLOBAL max_connections = 200;     以下的文章主要是向大家介绍的是MySQL最大连接数的修改，我们大家都知道My

原创 mysql的max_connections和Too many connections

      mysql中，max_connections表示最大连接数目， 可以修改（set GLOBAL max_connections = 3; 仅对mysql当前服务进程有效，如果mysql服务重启，则失效）。 我修改为3了， 如下：mysql> show variables like 'max_connections';+-----------------+-------+...