Linvo's blog

ZeroMQ—指导 由iMatix公司的首席执行官Pieter Hintjens 编写。感谢Bill Desmarais, Brian Dorsey, CAF, Daniel Lin, Eric Desgranges, Gonzalo Diethelm, Guido Goldstein, Hunter Ford, Kamil Shakirov, Martin Sustrik, Mike Castleman, Naveen Chawla, Nicola Peduzzi, Oliver Smith, Olivier Chamoux, Peter Alexander, Pierre Rouleau, Randy Dryburgh, John Unwin, Alex Thomas, rofl0r, Mihail Minkov, Jeremy Avnet, Michael Compton, and Zed Shaw的贡献，也感谢Stathis Sideris，因为Ditaa.。 请对所有的意见和勘误表进行问题跟踪。这个版本覆盖了0MQ2.0的版本，发表于周二2010年11月9日，9时32分19秒。 第一章——基础的东西 修理（fixing）这个世界 怎么解释0MQ？有些人会说它的所有美好的事情。它是类固醇（steroids）上的套接字。它像有路由的邮箱。它很快。别人想分享它的启蒙，当这一切变得越来越明显，人们开始顿悟了。事情变得更简单。再也不复杂了。它打开了人们的思维。其他人喜欢通过做比较的方式来解释。它更小，更简单，但是看起来仍然很熟悉。就我个人而言，我希望回忆起我们为什么要开发0MQ，因为，这是读者们也很想知道的问题。 编程是装扮成艺术的科学，因为我们中的大多数不了解软件的物理过程。如果学过这方面的知识的话，也学的很少。软件的物理过程不是算法，数据结构，语言和抽象。这些只是我们研发，使用，然后扔掉的工具。软件真正的物理过程实际上是人们的思维过程。 ……

大纲 • Redis 简介 • 新浪微博中的Redis实践 • 好友关系 • 计数器 • 经验教训

杨传辉 日照@淘宝 V 0.1 2010-10 分布式系统工程实践 ....................................................................................................................... 1 1 引言.......................................................................................................................................... 3 2 基础知识 .................................................................................................................................. 3 2.1 硬件基础 ....................................................................................................................... 4 2.2 性能估算 ....................................................................................................................... 4 2.3 CAP ............................................................................................................................... 6 2.4 一致性模型 ................................................................................................................... 7 2.5 NOSQL与SQL ............................................................................................................... 9 2.6 Two-Phase commit ...................................................................................................... 10 2.7 Paxos ........................................................................................................................... 11 3 关键技术实现 ......................................................................................................................... 12 3.1 网络编程框架 ............................................................................................................. 12 3.2 HA与Replication ........................................................................................................ 13 3.3 分裂 ............................................................................................................................. 14 3.4 迁移 ............................................................................................................................. 15 3.5 负载均衡 ..................................................................................................................... 16 3.6 Chubby ........................................................................................................................ 16 3.7 分布式事务 ................................................................................................................. 17 3.8 Copy-on-write与Snapshot ........................................................................................ 17 3.9 操作日志与checkpoint .............................................................................................. 19 3.10 列式存储与压缩 ..................................................................................................... 19 4 通用存储系统分类 ................................................................................................................. 20 5 典型存储系统工程实现 ......................................................................................................... 21 5.1 单机存储引擎 ............................................................................................................. 21 5.1.1 随机访问存储引擎 ......................................................................................... 21 5.1.2 通用存储引擎 ................................................................................................. 22 5.1.3 单机存储优化 ................................................................................................. 23 5.2 SQL数据库 ................................................................................................................. 23 5.3 线上最终一致性系统 ................................................................................................. 24 5.4 线上弱一致性系统 ..................................................................................................... 26 5.5 半线上及线下系统 ..................................................................................................... 29 5.5.1 两层结构 ......................................................................................................... 29 5.5.2 GFS................................................................................................................... 30 5.5.3 Bigtable ............................................................................................................ 31 6 通用计算系统分类 ................................................................................................................. 32 7 典型计算系统工程实现 ......................................................................................................... 33 7.1 MapReduce Offline ..................................................................................................... 33 7.2 Online计算 ................................................................................................................. 34 7.2.1 流式计算 ......................................................................................................... 34 7.2.2 并行数据库的SQL查询 ................................................................................. 35 7.2.3 数据仓库复杂查询 ......................................................................................... 36 8 应用........................................................................................................................................ 38 8.1 电子商务类 ................................................................................................................. 38 8.2 搜索类 ......................................................................................................................... 38 8.3 社交类 ......................................................................................................................... 39 8.4 邮箱类 ......................................................................................................................... 40 8.5 图片及视频类 ............................................................................................................. 40 8.6 数据仓库类 ................................................................................................................. 40 8.7 云服务类 ..................................................................................................................... 41 9 工程实现注意事项 ................................................................................................................. 41 9.1 工程现象 ..................................................................................................................... 41 9.2 规范制订 ..................................................................................................................... 42 9.3 经验法则 ..................................................................................................................... 42 9.4 质量控制 ..................................................................................................................... 42 9.4.1 测试第一 ......................................................................................................... 42 9.4.2 代码Review .................................................................................................... 42 9.4.3 服务器程序的资源管理 ................................................................................. 43

•来自一线的实战经验 •每一军规背后都是血淋淋教训 •丌要华丽，叧要实用 •若有一条让你有所受益，慰矣 •主要针对数据库开发人员 总是在灾难发生后，才想起容灾的重要性； 总是在吃过亏后，才记得曾经有人提醒过。

目录 ................................................................................................................................................. 1 背景及目标...................................................................................................................................... 2 Mysql 执行优化 .............................................................................................................................. 2 认识数据索引 ........................................................................................................................... 2 为什么使用数据索引能提高效率 ................................................................................... 2 如何理解数据索引的结构 ............................................................................................... 2 如何理解影响结果集 ....................................................................................................... 3 理解执行状态 ........................................................................................................................... 4 常见分析手段 ................................................................................................................... 4 分析流程 ........................................................................................................................... 6 总结 .................................................................................................................................. 7 Mysql 运维优化 .............................................................................................................................. 9 存储引擎类型 ........................................................................................................................... 9 内存使用考量 ........................................................................................................................... 9 性能与安全性考量 ................................................................................................................... 9 存储压力优化 ......................................................................................................................... 10 运维监控体系 ......................................................................................................................... 10 Mysql 架构优化 ............................................................................................................................ 11 架构优化目标 ......................................................................................................................... 11 防止单点隐患 ................................................................................................................. 11 方便系统扩容 ................................................................................................................. 11 安全可控，成本可控 ..................................................................................................... 11 分布式方案 ............................................................................................................................. 12 分库&拆表方案 .............................................................................................................. 12 主从架构 ......................................................................................................................... 14 故障转移处理 ................................................................................................................. 15 缓存方案 ................................................................................................................................ 15

这是我在网上无意中看到的一篇文章,介绍了myspace 的六次重构,对于做海量用户系统的朋友来说,应该能从中受到很多启发. 在每个里程碑，站点负担都会超过底层系统部分组件的最大载荷，特别是数据库和存储系统。接着，功能出现问题，用户失声尖叫。最后，技术团队必须为此修订系统策略。 虽然自2005 年早期，站点账户数超过7 百万后，系统架构到目前为止保持了相对稳定，但MySpace 仍然在为SQL Server 支持的同时连接数等方面继续攻坚，Benedetto 说，"我们已经尽可能把事情做到最好"。 里程碑一：50万账户 按Benedetto 的说法，MySpace 最初的系统很小，只有两台Web 服务器和一个数据库服务器。 那时使用的是Dell 双CPU、4G 内存的系统。 单个数据库就意味着所有数据都存储在一个地方，再由两台Web 服务器分担处理用户请求的工 作量。但就像MySpace 后来的几次底层系统修订时的情况一样，三服务器架构很快不堪重负。此后 一个时期内，MySpace 基本是通过添置更多Web 服务器来对付用户暴增问题的。 但到在2004 年早期，MySpace 用户数增长到50 万后，数据库服务器也已开始汗流浃背。 但和Web 服务器不同，增加数据库可没那么简单。如果一个站点由多个数据库支持，设计者必须考虑的是，如何在保证数据一致性的前提下，让多个数据库分担压力。 在第二代架构中，

读者. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vi 1 简介1 官方文档. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 获得Go . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 在Windows 下获得Go . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 前身. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 练习. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 答案. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2 基础6 Hello World . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 编译和运行代码. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 变量、类型和保留字. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 运算符和内建函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 Go 保留字. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 控制结构. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 内建函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 array、slices 和map . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 练习. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 答案. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3 函数30 作用域. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

第一章 Redis快速入门 ................................................................................................................... 6 1.1 Key-Value存储系统简介 .................................................................................................... 6 1.1.1 Voldemort ................................................................................................................ 7 1.1.2 Dynamo .................................................................................................................... 7 1.1.3 memcachedb ............................................................................................................ 8 1.1.4 Cassandra ................................................................................................................. 8 1.1.5 memcached .............................................................................................................. 9 1.1.6 Hypertable ................................................................................................................ 9 1.2 为什么选择Key-Value Store ............................................................................................. 9 1.2.1 大规模的互联网应用 ........................................................................................... 10 1.2.2 云存储................................................................................................................... 10 1.2.3 Redis实际应用案例 .............................................................................................. 11 1.3 初识Redis ........................................................................................................................ 13 1.3.1 数据类型 ............................................................................................................... 13 1.3.2 持久化................................................................................................................... 13 1.3.3 主从同步 ............................................................................................................... 13 1.3.4 性能....................................................................................................................... 13 1.3.5 提供API的语言 ................................................................................................... 14 1.3.6 适用场合 ............................................................................................................... 14 1.4 快速入门.......................................................................................................................... 15 1.4.1 安装Redis ............................................................................................................. 15 1.4.2 配置Redis ............................................................................................................. 17 1.4.3 操作数据库 ........................................................................................................... 20 第二章 Redis数据类型及操作 ..................................................................................................... 21 2.1 前言 ................................................................................................................................. 21

腾讯内部PPT 腾讯大讲堂59-数据蕴含商机，挖掘决胜千

目录 1 内置API输出调试 .................................................................................................................................... 2 1.1 基本调试API ............................................................................................................................................... 2 1.1.1 echo (print): ......................................................................................................................................... 2 1.1.2 printf .................................................................................................................................................... 2 1.1.3 print_r、var_dump(var_export)、debug_zval_dump ......................................................................... 3 1.2 错误控制和日志记录调试 ........................................................................................................................... 6 1.2.1 错误选项控制 .................................................................................................................................... 6 1.2.2 错误抛出和处理 ................................................................................................................................ 8 1.2.3 使用错误抑制符 ............................................................................................................................... 11 1.2.4 日志记录 ........................................................................................................................................... 11 2 浏览器调试 ............................................................................................................................................... 13 2.1 页面输出调试 ............................................................................................................................................. 13 2.2 FirePHP 调试 .............................................................................................................................................. 14 2.2.1 普通变量监测 .................................................................................................................................. 15 2.2.2 调用栈监测 ...................................................................................................................................... 17 2.2.3 监测抛出异常 .................................................................................................................................. 18 2.2.4 组显示信息 ...................................................................................................................................... 18 3 IDE调试 .................................................................................................................................................... 19 3.1 基本常用IDE介绍 .................................................................................................................................... 19 3.1.1 Vim .................................................................................................................................................... 19 3.1.2 Zend Studio ....................................................................................................................................... 19 3.1.3 Eclipse ............................................................................................................................................... 21 3.1.4 NetBeans ........................................................................................................................................... 22 3.2 IDE调试 ...................................................................................................................................................... 23 3.2.1 Zend Studio + Zend Debugger .......................................................................................................... 23 3.2.2 Eclipse (PDT) + Xdebug ................................................................................................................... 31 3.2.3 Vim + Xdebug + DBGp ..................................................................................................................... 37 4 PHP性能调试技术.................................................................................................................................... 39 4.1 基本时间占用监测 ..................................................................................................................................... 39 4.2 使用 Xdebug 进行性能分析 .................................................................................................................... 39 4.2.1 安装配置： ...................................................................................................................................... 41 4.3 APD(Advanced PHP Debugger) .................................................................................................................. 46 4.3.1 安装配置 .......................................................................................................................................... 46 4.3.2 使用APD ......................................................................................................................................... 46 4.4 使用Xhprof 进行性能分析 ...................................................................................................................... 47 4.4.1 Xhprof 的优点： ............................................................................................................................. 47 5 PHP单元测试技术 .................................................................................................................................... 51 5.1 PHPUnit ....................................................................................................................................................... 51

关键字：正则表达式，Regular Expression<br>　　原著：笑容<br>　创作于：2004年05月03日<br>最后更新：2004年05月04日 21:12<br>引用地址：正则表达式(regular expression)<br>版权声明：使用创作公用版权协议<br> CHM制作：姜运涛@阿涛淘网<br>

首先、 是一种很酷的技术，一旦采用了，就能让你的页面，你的网站，甚至连同你们公司，都变得很酷。在 的时代里，不使用一点技术的网站，就会显得很老土，很落伍。

　　本手册针对的是已有一定网页设计制作经验的读者。其目的是提供完整清晰的样式表内容的快速索引及进阶帮助。所以对于网页制作和样式表的基础知识，仅简单介绍，恕不赘述。 <br>　　手册提供了完整的 CSS2.0 的属性(Properties)、规则(At-Rules)、伪类(Pseudo-Classes)、伪元素(Pseudo-Elements)、声明(Declarations)、单位(Units)、选择符(Selectors)的介绍。其内容涵括了 W3C 的 CSS2.0 标准，以及 Internet Explorer 和 Netscape 各自的私有内容。出于种种众所周知的原因考虑，本手册以浏览器的事实标准—— Internet Explorer 为主。<br>　　手册中为几乎所有的已被支持的属性、伪类、单位等，除了基本的语法示范外，都度身制作了可以对照源代码即时察看运行演示的实例。<br>　　本手册的升级信息与版权声明请参阅关于本书页面。 <br>　　限于篇幅，对于一些过于繁杂的相关内容，如动态样式属性(Dynamic Properties)，滤镜(Filters)，行为(Behaviors)请参阅我的其它相关著作。 <br>　　本书中涉及到的所有HTML对象(Object，Element)，HTML属性(Attributes)和特性(Properties)请参阅我的相关著作。

网站项目管理规范指南

纯真IP数据库<br>纯真IP数据库