- 博客(43)
- 收藏
- 关注
RSS订阅说说IO（八）- 三分天下
DAS、SAN和NAS 为了满足人们不断扩大的需求，存储方案也是在发展的。而DAS、SAN、NAS直接反映这种反映了这种趋势。 单台主机。在这种情况下，存储作为主机的一个或多个磁盘存在，这样局限性也是很明显的。由于受限于主机空间，一个主机只能装一块到几块硬盘，而硬盘空间时受限的，当磁盘满了以后，你不得不为主机更换更大空间的硬盘。独立存储空间。...
2011-06-06 21:18:46
160
说说IO（七）- RAID
Raid很基础，但是在存储系统中占据非常重要的地位，所有涉及存储的书籍都会提到RAID。RAID通过磁盘冗余的方式提高了可用性和可高性，一方面增加了数据读写速度，另一方面增加了数据的安全性。 RAID 0 对数据进行条带化。使用两个磁盘交替存放连续数据。因此可以实现并发读写，但带来的问题是如果一个磁盘损坏，另外一个磁盘的数据将失去意义。RAID 0最少需要2块盘。...
2011-03-01 21:33:34
182
说说IO（六）- Driver & IO Channel
这部分值得一说的是多路径问题。IO部分的高可用性在整个应用系统中可以说是最关键的，应用层可以坏掉一两台机器没有问题，但是如果IO不通了，整个系统都没法使用。如图为一个典型的SAN网络，从主机到磁盘，所有路径上都提供了冗余，以备发生通路中断的情况。 OS配置了2块光纤卡，分别连不同交换机SAN网络配置了2个交换机存储配置了2个Controller，分别连不同交换...
2011-03-01 21:32:36
139
说说IO（五）- 逻辑卷管理
LVM（逻辑卷管理），位于操作系统和硬盘之间，LVM屏蔽了底层硬盘带来的复杂性。最简单的，LVM使得N块硬盘在OS看来成为一块硬盘，大大提高了系统可用性。 LVM的引入，使得文件系统和底层磁盘之间的关系变得更为灵活，而且更方便关系。LVM有以下特点： 统一进行磁盘管理。按需分配空间，提供动态扩展。条带化（Striped）镜像（mirrored）...
2011-02-20 21:09:13
569
说说IO（四）- 文件系统
文件系统各有不同，其最主要的目标就是解决磁盘空间的管理问题，同时提供高效性、安全性。如果在分布式环境下，则有相应的分布式文件系统。Linux上有ext系列，Windows上有Fat和NTFS。如图为一个linux下文件系统的结构。 其中VFS（Virtual File System）是Linux Kernel文件系统的一个模块，简单看就是一个Adapter，对下屏蔽了下...
2011-01-09 21:33:22
184
说说IO（三）- IO性能的重要指标
最重要的三个指标 IOPSIOPS，即每秒钟处理的IO请求数量。IOPS是随机访问类型业务（OLTP类）很重要的一个参考指标。 一块物理硬盘能提供多少IOPS？从磁盘上进行数据读取时，比较重要的几个时间是：寻址时间（找到数据块的起始位置），旋转时间（等待磁盘旋转到数据块的起始位置），传输时间（读取数据的时间和返回的时间）。其中寻址时间是固定的（磁头定...
2010-12-26 12:45:24
216
原创 [转载]【外刊IT评论】你是一个产品
不久前的某一天，我突然得到了一个启示。我意识到用“程序员”和“雇员”这两个词来描述自己是很不充分的。我应该是个产品，而且你也是。如果你想发展你的职业生涯，你应该把你的职业生涯当作一个产品来开发。你为了各种东西售卖自己：金钱，身份地位，做有兴趣的事情的机会，跟优秀人的共事的机会，等等。在这篇文章里，我将把这些都称作“回报”，但请不要以为回报只是指金钱。供给和需求就像一个产品，你也有供...
2010-12-22 21:06:58
98
说说IO（二）- IO模型
这部分的东西在网络编程经常能看到，不过在所有IO处理中都是类似的。IO请求的两个阶段： 等待资源阶段：IO请求一般需要请求特殊的资源（如磁盘、RAM、文件），当资源被上一个使用者使用没有被释放时，IO请求就会被阻塞，直到能够使用这个资源。 使用资源阶段：真正进行数据接收和发生。 举例说就是排队和服务。 在等待数据阶段，IO分为阻塞IO...
2010-12-20 22:52:24
116
说说IO（一）- IO的分层
IO性能对于一个系统的影响是至关重要的。一个系统经过多项优化以后，瓶颈往往落在数据库；而数据库经过多种优化以后，瓶颈最终会落到IO。而IO性能的发展，明显落后于CPU的发展。Memchached也好，NoSql也好，这些流行技术的背后都在直接或者间接地回避IO瓶颈，从而提高系统性能。 IO系统的分层： 三层结构上图层次比较多，但总的就是三部分。磁盘（存储）...
2010-12-20 22:06:43
190
再赞一下Evernote
从开始使用Evernote到现在已经有3、4年时间了，最初只为找一个笔记软件，现在已经发展成为无法代替，Evernote是我唯一一个心甘情愿去付费的软件。中间使用的过程中虽然也碰到很多问题——Evernote太重量级、速度慢、中文支持不好等等，也中断使用过一段时间，但是找了半天也没找到一个更合适的。随着Evernote 4.0的发布，一切问题都成为浮云~还是说说特性吧： 飞快的速度。跟3...
2010-12-16 22:30:23
102
淘宝iDataForum归来
今天参加了淘宝的iDataForum，收获不少。详细的PPT过段时间能发在官方网站上。Topic 1：淘宝架构的变迁。这个topic主要讲淘宝这几年数据库面临的一些问题以及问题的解决。下面的数据还是老一些的数据。淘宝现在有10亿种商品。小文件和图片加起来有1000TCDN流量为138G/s13亿/天（个人算了下，忙时3w~4w/s）的P...
2010-12-12 21:42:03
123
一次诡异的调优
最近碰到的一个Java应用，费了半天劲还是没定位到是哪儿的问。发上来给大家看看，给点建议。 环境DB Server：32core HPUX DB2App Server * 2：8core HPUX WAS6.1 每个节点2个app初次测试现象WAS，DB2CPU均上不去，CPU、内存、磁盘、网络等都正常。从loadrunner报告来看，有两个用例很奇怪，...
2010-10-24 14:06:44
122
在云端
云计算有多热大家都知道，可是到底什么是“云”估计谁也说不清。就像云的变化多端、无形无像一样，不管是什么软件，都可以套上云的头衔，可是你又说不清他到底在哪儿云了？虚拟化、分布式、移动互联这些组成了云计算的特点，可是这些技术早在云计算出现之前早就有了，即便没有云计算，他们也会应运而生，云计算就是这些吗？我想也不是。 云计算常常被称为XaaS，X可以是Software，可以...
2010-09-02 22:41:12
161
原创 流氓企鹅
看看这个“英雄杀”，还有前几天的葫芦娃大战群妖，对于腾讯这种恬不知耻的抄袭，真是无语了。这个英雄杀里的人物能力、装备、锦囊、基本牌跟三国杀的设定都是一样，令人更无语的是，抄也就算了，但是连名字都懒得改一下，这算什么？？ 腾讯就是从抄开始发家的，当它还是小公司的时候，这种抄袭可以理解，但是如今的腾讯可是中国首屈一指的互联网公司，而它还在抄，而且抄的都是无数小公司用实践换来的相...
2010-08-24 23:48:52
339
原创 [转载]【外刊IT评论】不要放弃你的梦想
也许我很傻，但我宁愿犯傻，宁愿活在我的梦想里拼搏，也不要找出一堆的借口。金钱的利诱不会带来真正的成功，真正的成功来自于爱和热情。你必须爱你所做的事情，你必须对你所做的事有热情。失败并不可怕。可怕的是当你60岁时回首往事才发现“也许我应该给自己一次实现梦想的机会，也许我会成功的，也许我应该守住梦想”。 在生活的压力和梦想之间，你会如何选择呢？无论如何艰难，给自己一个实现梦想...
2010-08-10 17:19:43
219
生活是一个谜语
“坚定你的信念，扔掉你的恐惧。相信你所怀疑的，但怀疑你所相信的。生活是一个谜语而不是要解决的问题。” 好久好久没写blog了，半年其实挺短的，不过发生了太多的事情，每件事都不小。 1. 买房了，装修了，累的半死。不过当住进自己家的时候，感觉还是很温馨的，不管怎么小吧，好歹也是个窝了。 2. 家里人去世了，唉......这种事情真是没有办法接受，说走了就走了，生...
2010-07-30 17:41:24
199
原创 兄弟远行
聚聚散散，人生无常。一个兄弟要回来了，另一个又要走了。田震那首《干杯朋友》，改了一点，祝福一下。可惜咱们没喝上一杯。留点遗憾也好，等你回来再喝。一路平安！保重！ 兄弟你今天就要远走干了这杯酒忘掉那过去的惆怅一醉到天尽头也许你从今开始地旅程再没有停下的时候让我们一起举起这杯酒干杯啊兄弟兄弟你今天就要远走干了这杯酒天空是蔚蓝的自由你渴望着拥有但愿那无拘无束的日子将不...
2010-02-06 16:43:34
197
原创 我的Eclipse快捷键
所谓“工欲善其事必先利其器”，程序写多了，对于快捷键总有些特别的偏爱。在众多编辑器中，Eclipse算是用的比较多，也是最熟的。最常用（也是最爱的：）） Ctrl+’ : 自动完成提示。这个快捷键是我自己设的。Eclipse默认是Ctrl+Sapce，跟输入法冲突了。这个东东很强大，除了提示方法外，也支持自动完成的提示。比如：输入一个for后输入快捷键，能提示fo...
2010-01-10 10:56:07
95
原创 JVM调优总结（十二）-参考资料
能整理出上面一些东西，也是因为站在巨人的肩上。下面是一些参考资料，供大家学习，大家有更好的，可以继续完善：） · Java 理论与实践: 垃圾收集简史 · Java SE 6 HotSpot[tm] Virtual Machine Garbage Collection Tuning · Improving Java Application Performance a...
2009-12-28 21:07:29
169
原创 JVM调优总结（十一）-反思
垃圾回收的悖论 所谓“成也萧何败萧何”。Java的垃圾回收确实带来了很多好处，为开发带来了便利。但是在一些高性能、高并发的情况下，垃圾回收确成为了制约Java应用的瓶颈。目前JDK的垃圾回收算法，始终无法解决垃圾回收时的暂停问题，因为这个暂停严重影响了程序的相应时间，造成拥塞或堆积。这也是后续JDK增加G1算法的一个重要原因。 当然，上面是从技术角度出发解决垃圾回收带来的问题，...
2009-12-28 21:06:06
136
JVM调优总结（十）-调优方法
JVM调优工具Jconsole，jProfile，VisualVMJconsole : jdk自带，功能简单，但是可以在系统有一定负荷的情况下使用。对垃圾回收算法有很详细的跟踪。详细说明参考这里 JProfiler：商业软件，需要付费。功能强大。详细说明参考这里 VisualVM：JDK自带，功能强大，与JProfiler类似。推荐。 如何调优观察内存释放情...
2009-12-20 21:03:51
4893
3
JVM调优总结（九）-新一代的垃圾回收算法
垃圾回收的瓶颈 传统分代垃圾回收方式，已经在一定程度上把垃圾回收给应用带来的负担降到了最小，把应用的吞吐量推到了一个极限。但是他无法解决的一个问题，就是Full GC所带来的应用暂停。在一些对实时性要求很高的应用场景下，GC暂停所带来的请求堆积和请求失败是无法接受的。这类应用可能要求请求的返回时间在几百甚至几十毫秒以内，如果分代垃圾回收方式要达到这个指标，只能把最大堆的设置限制...
2009-12-14 22:11:30
112
JVM调优总结（八）-典型配置举例2
常见配置汇总 堆设置 -Xms:初始堆大小 -Xmx:最大堆大小 -XX:NewSize=n:设置年轻代大小 -XX:NewRatio=n:设置年轻代和年老代的比值。如:为3，表示年轻代与年老代比值为1：3，年轻代占整个年轻代年老代和的1/4 -XX:SurvivorRatio=n:年轻代中Eden区与两个Survivor区的比值。注意Survi...
2009-12-09 20:15:15
117
JVM调优总结（七）-典型配置举例1
以下配置主要针对分代垃圾回收算法而言。 堆大小设置年轻代的设置很关键JVM中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。32位系统下，一般限制在1.5G~2G；64为操作系统对内存无限制。在Windows Server 2003 系统，3.5G物理内存，JDK5.0下测试，最大可设置为1...
2009-12-01 22:11:24
133
JVM调优总结（六）-分代垃圾回收详述2
分代垃圾回收流程示意 选择合适的垃圾收集算法串行收集器 用单线程处理所有垃圾回收工作，因为无需多线程交互，所以效率比较高。但是，也无法使用多处理器的优势，所以此收集器适合单处理器机器。当然，此收集器也可以用在小数据量（100M左右）情况下的多处理器机器上。可以使用-XX:+UseSerialGC打开。 并行收集器 ...
2009-11-26 11:37:16
143
JVM调优总结（五）-分代垃圾回收详述1
为什么要分代 分代的垃圾回收策略，是基于这样一个事实：不同的对象的生命周期是不一样的。因此，不同生命周期的对象可以采取不同的收集方式，以便提高回收效率。 在Java程序运行的过程中，会产生大量的对象，其中有些对象是与业务信息相关，比如Http请求中的Session对象、线程、Socket连接，这类对象跟业务直接挂钩，因此生命周期比较长。但是还有一些对象，主要是程序运...
2009-11-23 22:17:44
361
JVM调优总结（四）-垃圾回收面临的问题
如何区分垃圾 上面说到的“引用计数”法，通过统计控制生成对象和删除对象时的引用数来判断。垃圾回收程序收集计数为0的对象即可。但是这种方法无法解决循环引用。所以，后来实现的垃圾判断算法中，都是从程序运行的根节点出发，遍历整个对象引用，查找存活的对象。那么在这种方式的实现中，垃圾回收从哪儿开始的呢？即，从哪儿开始查找哪些对象是正在被当前系统使用的。上面分析的堆和栈的区别，其中栈是真正进...
2009-11-22 21:20:04
318
1
JVM调优总结（三）-基本垃圾回收算法
可以从不同的的角度去划分垃圾回收算法：按照基本回收策略分引用计数（Reference Counting）:比较古老的回收算法。原理是此对象有一个引用，即增加一个计数，删除一个引用则减少一个计数。垃圾回收时，只用收集计数为0的对象。此算法最致命的是无法处理循环引用的问题。 标记-清除（Mark-Sweep）: 此算法执行分两阶段。第一阶段从引用根节点开始标...
2009-11-19 11:44:29
411
JVM调优总结（二）-一些概念
Java对象的大小 基本数据的类型的大小是固定的，这里就不多说了。对于非基本类型的Java对象，其大小就值得商榷。 在Java中，一个空Object对象的大小是8byte，这个大小只是保存堆中一个没有任何属性的对象的大小。看下面语句：Object ob = new Object(); 这样在程序中完成了一个Java对象的生命，但是它所占的空间...
2009-11-18 11:37:29
248
JVM调优总结（一）-- 一些概念
数据类型 Java虚拟机中，数据类型可以分为两类：基本类型和引用类型。基本类型的变量保存原始值，即：他代表的值就是数值本身；而引用类型的变量保存引用值。“引用值”代表了某个对象的引用，而不是对象本身，对象本身存放在这个引用值所表示的地址的位置。基本类型包括：byte,short,int,long,char,float,double,Boolean,returnAddres...
2009-11-17 09:59:50
398
JVM调优总结-序
几年前写过一篇关于JVM调优的文章，前段时间拿出来看了看，又添加了一些东西。突然发现，基础真的很重要。学习的过程是一个由表及里，再由里及表的过程。呵呵，所谓的“温故而知新”。而真正能走完这个轮回的人，也就能称为大牛或专家了。这个过程可能来来回回，这就是所谓“螺旋上升”，而每一次轮回都有新的发现。 这回添加的东西主要集中在基础的一些问题上，还有一些这两年思考的问题。这些...
2009-11-17 09:58:34
97
JConsole手册
一篇Sun官方网站上介绍JConsole使用的文章，前段时间性能测试的时候大概翻译了一下以便学习，今天整理一下发上来，有些地方也不知道怎么翻，就保留了原文，可能还好理解点，呵呵，水平有限，翻的不好，大家多多包涵。JConsole毕竟是JDK自带的东西，功能虽然没有一些商业软件那么强大，但是稳定性好，在大压力情况下也不会发生什么问题。而且，提供了相对全面的系统监控功能，还是值得一用的。...
2009-11-16 22:54:17
133
原创 终于拜倒在GFW的脚下
GAE上的搭建的blog从十一底开始就一直进不去了，试了GAE的几个ip都处在被封的状态。很无语，还是算了，换地方吧。喜欢JE的气氛，就这里了~ 可惜JE的博客导入ms不是很通用，只能手动导入了.........
2009-11-16 11:35:31
662
定制不同用途的Firefox
用了很久的FireFox，装了几十个插件，导致启动慢、占用内存又大，其实很多插件的用途不一样，不用每次都把所有插件加载进来的。 查了下，FireFox果然还提供这种功能，而且更好的是，这个方法可以把你的FireFox配置备份，以后再安装的时候，直接导入就可以了，嘿嘿~ 很简单：firefox.exe -profile %配置数据的文件夹路径% 说白了启动ff的时候加个参数，再跟个文件夹路径...
2009-04-27 09:47:48
87
终于不堪忍受缓慢的系统
把Word换成了WPS。Word 2007真不知怎么说他好，功能确实不错，但是实在实在太慢了…. 把Outlook换成了Foxmail。做为一个发邮件的，Outlook实在不怎么样。慢…. 把默认浏览器换成了Chrome。FireFox很好很强大，但是装的插件太多了，而且太耗内存了…. Google的简洁确实做的很好。...
2009-04-21 14:16:47
101
富人的奥运会
听说北京宾馆奥运期间的标间翻了10倍还订不上； 听说鸟巢附近租房子从2000涨到了6000； 听说北京的学校暑假不为本科生提供住宿； 听说北京很多工程7月份开始停工，好让民工们回家； 听说最近老有警察在查暂住证； 离自己最近的一次奥运，怎么感觉确如此遥远呢？...
2008-06-29 14:37:23
88
写在07年的最后一天
好久没写blog了。一来，前段时间比较忙；二来，最近的日子过得有点混沌，没头没脑的；三来，似乎好久没学什么东西了，这可不好。就着这特别的日子，整理一下吧。 两个字形容一下2007年——惨淡 惨字给家里。这一年发生了一些令人伤心的事情，而且不止一件，有些时候真为家里捏一把汗...更遗憾的是自己确远在北京，不能与家里人一起承担。该来的是总会来的，将来还会有，这也是没办法的事情，...
2007-12-31 08:37:05
95
你的信念有多坚定？
最近看到的一个小故事： 如果你已经为人父母，当你的孩子正在学习走路时，你会给他几次机会？ 你会在他跌倒十次之後，让他改坐轮椅吗？ 还是只给他二十次学走的机会，若学不会走路就要他放弃？ 或者当你身边有五十个人叫嚣着劝你放弃，你就决定让他坐轮椅呢？ 我想你的答案是： 不会。 的确，当我问每一位父母，会给你的孩子几次机会呢？ 他们都说： 我会给他无数次机会，直到他站起来，学会走路为止！...
2007-09-19 07:09:35
144
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人