2016年12月_郡麟天下

12月 11月 10月 09月 08月 07月 05月 03月 02月

原创 Mysql的Merge存储引擎实现分表查询

对于数据量很大的一张表，i/o效率底下，分表势在必行！使用程序分，对不同的查询，分配到不同的子表中，是个解决方案，但要改代码，对查询不透明。好在mysql 有两个解决方案：Partition（分区，在MySQL 5.1.中实现）和 Mysql Merge存储引擎。只是支持MyISAM引擎，而分区者没有限制。本文讨论 Mysql Merge存储引擎。 CR

2016-12-26 12:05:40 511

原创 linux下运行java命令提示：Error: dl failure on line 864

问题描述：在Linux RedHat5.5中安装的JDK1.7，并且通过在profile文件中修改JAVA_HOME，发现java -version命令依旧显示1.4版本，分析原因发现系统不按照profile的设定来执行java 命令，而是通过/usr/java下的系统自带的JDK程序进行运行，无奈之下治好通过rm -rf命令删除/usr/java下的所有文件，然后再次运行java命令，出现如

2016-12-25 23:46:50 3818

原创 Redhat Linux安装JDK 1.7

本篇主要介绍在Redhat Linux（Red Hat Enterprise Linux Server release 5.7 (Tikanga)）系统上安装JDK 1.7，其它Linux平台安装也大同小异，可能略有差别。步骤1：下载JDK 1.7 安装包JDK 1.7 下载地址：http://www.oracle.com/technetwork/java/javase/downl

2016-12-25 22:32:13 657

转载 apt-get update 和 upgrade 的区别

updateupdate 是同步 /etc/apt/sources.list 和 /etc/apt/sources.list.d 中列出的源的索引，这样才能获取到最新的软件包。upgradeupgrade 是升级已安装的所有软件包，升级之后的版本就是本地索引里的，因此，在执行 upgrade 之前一定要执行 update, 这样才能是最新的。An updat

2016-12-24 20:29:08 481

原创 VMware 设备VMnet0 上的网桥当前未运行。

VMware 移动过来的虚拟机报：设备VMnet0 上的网桥当前未运行。此虚拟机无法与主机或网格中的其他计算机通信。今天克隆了一个win7的虚拟机，移动到我的本地。打开时发现虚拟机网格连接图标出现X断开连接，于是网上收了一堆答案无一个可用的，决定自己解决这个问题，解决过程如下： 1、报错图如下：设备VMnet0 上的网桥当前未运行。此虚拟机无法与主机或网格中的其他计算机

2016-12-20 22:49:24 29639

原创高并发web系统调优（十一）进入大型分布式应用时代和廉价服务器群梦想时代

经过上面这个漫长而痛苦的过程，终于是再度迎来了完美的时代，不断的增加 webserver 就可以支撑越来越高的访问量了，对于大型网站而言，人气的重要毋庸置疑，随着人气的越来越高，各种各样的功能需求也开始爆发性的增长，这个时候突然发现，原来部署在 webserver 上的那个 web 应用已经非常庞大了，当多个团队都开始对其进行改动时，可真是相当的不方便，复用性也相当糟糕，基本是每个团队都做了或多

2016-12-14 17:56:43 458

原创高并发web系统调优（十）数据读写分离和廉价存储方案

突然有一天，发现这个完美的时代也要结束了，数据库的噩梦又一次出现在眼前了，由于添加的 webserver 太多了，导致数据库连接的资源还是不够用，而这个时候又已经分库分表了，开始分析数据库的压力状况，可能会发现数据库的读写比很高，这个时候通常会想到数据读写分离的方案，当然，这个方案要实现并不容易，另外，可能会发现一些数据存储在数据库上有些浪费，或者说过于占用数据库资源，因此在这个阶段可能会形成的

2016-12-14 17:55:17 751

原创高并发web系统调优（九）增加更多的 webserver

在做完分库分表这些工作后，数据库上的压力已经降到比较低了，又开始过着每天看着访问量暴增的幸福生活了，突然有一天，发现系统的访问又开始有变慢的趋势了，这个时候首先查看数据库，压力一切正常，之后查看 webserver ，发现 apache 阻塞了很多的请求，而应用服务器对每个请求也是比较快的，看来是请求数太高导致需要排队等待，响应速度变慢，这还好办，一般来说，这个时候也会有些钱了，于是添加一些 w

2016-12-14 17:53:25 408

原创高并发web系统调优（八）分表、 DAL 和分布式缓存

随着系统的不断运行，数据量开始大幅度增长，这个时候发现分库后查询仍然会有些慢，于是按照分库的思想开始做分表的工作，当然，这不可避免的会需要对程序进行一些修改，也许在这个时候就会发现应用自己要关心分库分表的规则等，还是有些复杂的，于是萌生能否增加一个通用的框架来实现分库分表的数据访问，这个在 ebay 的架构中对应的就是 DAL ，这个演变的过程相对而言需要花费较长的时间，当然，也有可能这个通用的

2016-12-14 17:51:25 618

原创高并发web系统调优（七）分库

享受了一段时间的系统访问量高速增长的幸福后，发现系统又开始变慢了，这次又是什么状况呢，经过查找，发现数据库写入、更新的这些操作的部分数据库连接的资源竞争非常激烈，导致了系统变慢，这下怎么办呢，此时可选的方案有数据库集群和分库策略，集群方面像有些数据库支持的并不是很好，因此分库会成为比较普遍的策略，分库也就意味着要对原有程序进行修改，一通修改实现分库后，不错，目标达到了，系统恢复甚至速度比以前

2016-12-14 17:50:01 327

原创高并发web系统调优（六）增加 webserver

好景不长，发现随着系统访问量的再度增加， webserver 机器的压力在高峰期会上升到比较高，这个时候开始考虑增加一台 webserver ，这也是为了同时解决可用性的问题，避免单台的 webserver down 机的话就没法使用了，在做了这些考虑后，决定增加一台 webserver ，增加一台 webserver 时，会碰到一些问题，典型的有： 1 、如何让访问分配到这两台机器上，这个

2016-12-14 17:47:45 465

原创高并发web系统调优（五）数据缓存

在采用 ESI 之类的技术再次提高了系统的缓存效果后，系统的压力确实进一步降低了，但同样，随着访问量的增加，系统还是开始变慢，经过查找，可能会发现系统中存在一些重复获取数据信息的地方，像获取用户信息等，这个时候开始考虑是不是可以将这些数据信息也缓存起来呢，于是将这些数据缓存到本地内存，改变完毕后，完全符合预期，系统的响应速度又恢复了，数据库的压力也再度降低了不少。这一步涉及到了这些知识体系：

2016-12-14 17:46:20 435

原创高并发web系统调优（四）增加页面片段缓存

增加了 squid 做缓存后，整体系统的速度确实是提升了， webserver 的压力也开始下降了，但随着访问量的增加，发现系统又开始变的有些慢了，在尝到了 squid 之类的动态缓存带来的好处后，开始想能不能让现在那些动态页面里相对静态的部分也缓存起来呢，因此考虑采用类似 ESI 之类的页面片段缓存策略， OK ，于是开始采用 ESI 来做动态页面中相对静态的片段部分的缓存。这一步涉及到了这

2016-12-14 17:45:17 711

原创高并发web系统调优（三）增加页面缓存

好景不长，随着访问的人越来越多，你发现响应速度又开始变慢了，查找原因，发现是访问数据库的操作太多，导致数据连接竞争激烈，所以响应变慢，但数据库连接又不能开太多，否则数据库机器压力会很高，因此考虑采用缓存机制来减少数据库连接资源的竞争和对数据库读的压力，这个时候首先也许会选择采用 squid 等类似的机制来将系统中相对静态的页面（例如一两天才会有更新的页面）进行缓存（当然，也可以采用将页面静态化的

2016-12-14 17:42:50 430

原创高并发web系统调优（二）物理分离 webserver 和数据库

最开始，由于某些想法，于是在互联网上搭建了一个网站，这个时候甚至有可能主机都是租借的，但由于这篇文章我们只关注架构的演变历程，因此就假设这个时候已经是托管了一台主机，并且有一定的带宽了，这个时候由于网站具备了一定的特色，吸引了部分人访问，逐渐你发现系统的压力越来越高，响应速度越来越慢，而这个时候比较明显的是数据库和应用互相影响，应用出问题了，数据库也很容易出现问题，而数据库出问题的时候，应用

2016-12-14 17:41:38 604