2015年10月_gauss

转载每个程序员都应该了解的 CPU 高速缓存（一）

现在的CPU比25年前要精密得多了。在那个年代，CPU的频率与内存总线的频率基本在同一层面上。内存的访问速度仅比寄存器慢那么一点点。但是，这一局面在上世纪90年代被打破了。CPU的频率大大提升，但内存总线的频率与内存芯片的性能却没有得到成比例的提升。并不是因为造不出更快的内存，只是因为太贵了。内存如果要达到目前CPU那样的速度，那么它的造价恐怕要贵上好几个数量级。如果有两个选项让你选择，一个是

2015-10-05 01:25:28 2437

转载理解memcached的内存存储

Slab Allocation机制：整理内存以便重复使用最近的memcached默认情况下采用了名为Slab Allocator的机制分配、管理内存。在该机制出现以前，内存的分配是通过对所有记录简单地进行malloc和free来进行的。但是，这种方式会导致内存碎片，加重操作系统内存管理器的负担，最坏的情况下，会导致操作系统比memcached进程本身还慢。Slab Allocator就是

2015-10-05 01:17:19 291

转载原子操作 vs 非原子操作

在网上已经有很多有关介绍原子操作的内容，通常都是注重于原子读-修改-写（RMW）操作。然而，这些并不是原子操作的全部，还有同样重要的原子加载和原子存储。在这篇文章中，我将要在处理器级别和C/C++语言级别两个方面来对比原子加载和原子存储与它们相应的非原子部分。沿着这条路，我们将弄清楚C++11中“数据竞争”这个概念。共享内存中的原子操作是指它是否完成了一个线程相关的单步操作。当一个原子存储

2015-10-05 01:09:00 1117

转载 Nginx 引入线程池

介绍众所周知，NGINX 采用异步、事件驱动的方式处理连接。意味着无需对每个请求创建专门的进程或线程，它用一个工作进程（worker process）处理多个连接和请求。为了达到这个目的，NGINX采用非阻塞模式的 socket，并利用诸如 epoll 和 kqueue 的高效方法。全量进程（full-weight process）数很少（通常是一个 CPU 核只有一个）而

2015-10-05 00:59:40 489

转载 MySQL 调优/优化的 100 个建议

MySQL是一个强大的开源数据库。随着MySQL上的应用越来越多，MySQL逐渐遇到了瓶颈。这里提供 101 条优化 MySQL 的建议。有些技巧适合特定的安装环境，但是思路是相通的。我已经将它们分成了几类以帮助你理解。MySQL监控MySQL服务器硬件和OS（操作系统）调优：1、有足够的物理内存，能将整个InnoDB文件加载到内存里 —— 如果访问的文件在内存

2015-10-05 00:51:56 267

转载 Memcached简介

在Web服务开发中，服务端缓存是服务实现中所常常采用的一种提高服务性能的方法。其通过记录某部分计算结果来尝试避免再次执行得到该结果所需要的复杂计算，从而提高了服务的运行效率。　　除了能够提高服务的运行效率之外，服务端缓存还常常用来提高服务的扩展性。因此一些大规模的Web应用，如Facebook，常常构建一个庞大的服务端缓存。而它们所最常使用的就是Memcached。　　在本文中，我们就将对

2015-10-05 00:48:54 305

转载无锁数据结构（基础篇）：原子核、原子性、基本类型

无锁数据结构基于两方面——原子性操作以及内存访问控制方法。本文中我话题主要涉及原子性和原子性基本类型。在开始之前，我对大家表示感谢，谢谢你们对初识无锁数据结构的热爱。看到大家对无锁话题很感兴趣，我感到很开心。我计划依据学术概念将此做成一个系列，从基础到算法，同时以 text 的形式展示 libcds 中的代码实现。但有些读者希望避开漫谈，尽快展示这些代码，以及如何利用这些库。我同意其中的一些观

2015-10-05 00:45:55 1604

转载高并发 Web 服务的演变：节约系统内存和 CPU

一、越来越多的并发连接数现在的Web系统面对的并发连接数在近几年呈现指数增长，高并发成为了一种常态，给Web系统带来不小的挑战。以最简单粗暴的方式解决，就是增加Web系统的机器和升级硬件配置。虽然现在的硬件越来越便宜，但是一味地通过增加机器来解决并发量的增长，成本是非常高昂的。结合技术优化方案，才是更有效的解决方法。并发连接数为什么呈指数增长？实际上，从这几年的用户基数上看，这个数

2015-10-05 00:16:54 389

转载懒 Redis 是更好的 Redis

大家都知道 Redis 是单线程的。对 Redis内行的人会告诉你，Redis 其实也不完全是单线程的，因为还有一些线程在处理特定的慢的磁盘操作。到目前为止，这些线程里的操作都集中在 I/O 上，以至于这些线程用到的库被称为 bio.c，也就是后台 I/O（Background I/O）。不过之前我提交了一个 issue，承诺给 Redis 新增一个很多人（包括我自己）都想要的特性，

2015-10-05 00:11:05 386

转载 HTTPS和SSL/TLS协议

要说清楚 HTTPS 协议的实现原理，至少需要如下几个背景知识。1. 大致了解几个基本术语（HTTPS、SSL、TLS）的含义2. 大致了解 HTTP 和 TCP 的关系（尤其是“短连接”VS“长连接”）3. 大致了解加密算法的概念（尤其是“对称加密与非对称加密”的区别）4. 大致了解 CA 证书的用途考虑到很多技术菜鸟可能不了解上述背景，俺先用最简短的文字描述一下。如果你自认

2015-10-04 23:49:00 458

转载 CDN对流媒体和应用分发的支持及优化 | 高可用CDN架构详解

此文是根据马涛在【QCon高可用架构群】中的分享内容整理而成，转发请注明出处。马涛，前迅雷网络CDN系统研发工程师，也曾任EMC/Pivotal大数据处理系统Hawq研发工程师。从事CDN之前主要做数据库内核，平时关注大数据处理、并行系统容错和优化、后台服务性能优化。1.CDN系统工作原理1.1 DNS解析方式客户网站使用CDN加速应用或其他下载类资源：

2015-10-04 23:31:37 1323

转载 TCP/IP 协议栈及 OSI 参考模型详解

OSI参考模型OSI RM：开放系统互连参考模型（open systeminterconnection reference model）OSI参考模型具有以下优点：简化了相关的网络操作；提供设备间的兼容性和标准接口；促进标准化工作；结构上可以分隔；易于实现和维护。 20世纪60年代以来，计算机网

2015-10-04 23:28:25 787

转载 Web基础架构：负载均衡和LVS

在大规模互联网应用中，负载均衡设备是必不可少的一个节点，源于互联网应用的高并发和大流量的冲击压力，我们通常会在服务端部署多个无状态的应用服务器和若干有状态的存储服务器（数据库、缓存等等）。一、负载均衡的作用负载均衡设备的任务就是作为应用服务器流量的入口，首先挑选最合适的一台服务器，然后将客户端的请求转发给这台服务器处理，实现客户端到真实服务端的透明转发。最近几年很火的「云计算」以及分布式架

2015-10-04 23:14:18 317

转载 HTTPS是如何保证连接安全

“HTTPS协议的工作原理是什么？”这是我在数天前工作项目中需要解决的问题。作为一名Web开发者，我当然知道 HTTPS 协议是保障用户敏感数据的好办法，但并不知道这种协议的内在工作机制。它怎么保护数据？有人监听线路的情况下，服务器与客户端之间如何建立安全的连接？安全证书又是什么，为什么还要花钱买呢？一系列通道在深入讲解原理细节之前，让我们首先简单了解下HTTPS所防范的的问

2015-10-04 23:10:20 320

转载 Nginx 的 TCP 负载均衡介绍

Nginx Plus的商业授权版开始具有TCP负载均衡的功能。从Nginx 1.7.7版本开始加入的，现在变成了一个商业收费版本，想要试用，需要在官网申请。也就是说，Nginx除了以前常用的HTTP负载均衡外，Nginx增加基于TCP协议实现的负载均衡方法。HTTP负载均衡，也就是我们通常所有“七层负载均衡”，工作在第七层“应用层”。而TCP负载均衡，就是我们通常所说的“四层负载均衡”，工作在

2015-10-04 23:02:35 384

转载 Web系统大规模并发

一、大规模并发带来的挑战在过去的工作中，我曾经面对过5w每秒的高并发秒杀功能，在这个过程中，整个Web系统遇到了很多的问题和挑战。如果Web系统不做针对性的优化，会轻而易举地陷入到异常状态。我们现在一起来讨论下，优化的思路和方法哈。1. 请求接口的合理设计一个秒杀或者抢购页面，通常分为2个部分，一个是静态的HTML等内容，另一个就是参与秒杀的Web后台请求接口

2015-10-04 22:57:34 407

gauss的专栏