yeasy的专栏

分布式交易随着微服务（Micro Service）的兴起再次收到重视。传统软件场景下，业务需求相对稳定，业务规模增长平缓，可以进行有效预判。此时，宏服务（Macro Service）架构是最合适的选择。该架构下很容易实现数据的 ACID 一致性，以及对失效交易进行回滚（roll back）。但是当业务需求变化剧烈，规模增长很难预判（典型如互联网场景）时，传统软件架构很难进行动态调整和快速演进。此时，采用多种服务单元合作的微服务架构就成为很自然的选择。分散架构随之带来分布式交易的问题。首先，一笔交

有几个趋势越来越明显。国内，央行在努力加强对支付终端的监管，未来支付宝、微信支付等传统渠道都会受到更强的约束。这一方面是反洗钱的需要，一方面也是为了加强对财富的实际控制。国际上，一些国家央行试图联合削弱对 SWIFT 的依赖。除了 SWIFT 自身成本过高的原因，近些年 SWIFT 以反洗钱为名，加强了对交易信息的披露要求，这让不少国家央行感觉监管过多。具体地，一方面通过推出数字货币，实现绕过 SWIFT 的支付和清算。另一方面，发展分布式账本网络，彻底去 SWIFT 化。这对现有美元体系将造成

为了应对疫情，全球各国都需要检测潜在感染者。由于检测试剂相对短缺，如何用尽量少的试剂进行检测就成为一个有意思的问题。这里假设采样量足够，且不考虑检测时间要求。目前，很多国家采用的都是分组检测机制，即将待检测群体进行分组，同组内样本混合进行检测。如果某组结果为阳性，则对该组再进一步进行检测。一个很自然的问题：该怎么分组才能节约试剂？先来看两种极端的情况。少量感染者通常，群体内的感染者是少数。假设群体一共 64 人，其中只有 1 个感染者，采用 2、4、8、64 等分法。2 分法，

围绕经济学领域的理性人假说，支持或反对的观点都有许多。前者认可有效市场机制，认为市场整体表现是理性的，价格反映价值。后者则认为大部分的人都是非理性的，因为心理学或不对称机制，市场大部分时候都是非理性的，存在套利空间。由此发展出行为金融学。实际上，“理性人”本身就是一个理论概念。从出生开始，人即受其他个体的影响，即便通过后天训练，逐步摆脱情绪因素，那也只是无限接近理性，并非真正达到“不仁”。从这个角度，理性人是个简化模型，但也反映出部分学者们对社会进化方向的美好预期。人出生时，个性单纯，并不代

东方科学与西方科学有许多不同之处。从认知模型上说，西方科学讲究从局部到整体，知其然之后知其所以然。而东方科学更讲究从整体到局部，知其所以然，自然知其然。比如说，看到苹果落地是知其然，那么研究背后的重力就是其所以然；进而重力是其然，时空的弯曲是所以然；那么时空的弯曲是其然，宇宙计算是其所以然……层层递进而无穷矣。这种思想的优势是符合朴素的认知逻辑，普通人经过训练很容易接受。然而人的认知相对世界来说有限，碰到尚未知其所以然的事物就抓瞎了。比如现代的物理学、生命科学，在大方向上已经进入瓶颈了，只能往应用上

超级账本项目已经五度春秋，成立的日子仿佛就在昨天。中国技术工作组也已经四岁了。眼看着社区从无到有，活动日益丰富，开发者队伍也日渐壮大，打心眼里高兴和欣慰。工作组的同事们很好奇当初成立的历史。作为见证者之一，我整理了当年的故事，权作宏大开源历史中的一个小纪念吧。2015 年底超级账本刚成立，我因为关注分布式账本技术，开始参与其中的开发和社区工作，当时并未想到社区能发展到今天的规模。也因此很幸运地成为了全球早期开发者之一，也很可能是中国地区首个开发者和推广者。超级账本和赞助方 Linux 基金会

不知道有没有人思考过，需要投票的情况下，大家往往不约而同地采用“多数票机制”，即获得多数人投票的人获胜？或许你会觉得这个看起来理所当然。那么，多数人投票机制是否是公平的呢？有没有更公平的机制呢？七十年前，就有学者就投票公平性进行了研究，发现了一些很有趣的结论。公平性模型为了能更好的研究问题，一般先要将问题进行抽象建模。核心在于如何衡量公平性？一个公平的投票机制首先对投票人和候选人应该都是公平的，即投票人中立性（anonymous）和候选人中立性（neutral）。这意味着无论某个投

超级账本 Fabric 是最流行的企业分布式账本实现，由 IBM、DAH 等企业于 2016 年初贡献到社区，目前在全球范围内得到了广泛的应用。Fabric 提出了许多先进的理念和设计，包括多通道、身份证书机制、隐私保护、无限扩展的网络结构、运维管理接口等。目前，Fabric 可以满足不同场景下的性能需求，如虚拟机部署场景下可以达到 3500 tps 的吞吐量和小于 1 秒的延迟（参考《Hyperledger Fabric: A Distributed Operating System for Perm

作为首本讲解超级账本 Fabric 2.x 的区块链图书，本书首版曾在 2018 年荣获年度畅销图书奖。Fabric 2.x 长期支持版本在上个月正式发布，标志着它已经可以进入生产使用。新版本在功能、性能上都有了不少改善和变化。在编辑老师一再鞭策下进行了多次精简，最终定稿还是超过了 500 页。简而言之，本书新版主要改进在于：基于超级账本 Fabric 2.x 版本讲解，精心重写全书内容，包括理论篇、实践篇和进阶篇； 增加了大量对核心代码和架构的深度剖析，方便读者掌握原理和进行实践；

2020年3月，在凤凰城参加了超级账本社区最大的年度活动——超级账本全球峰会（Hyperledger Global Forum）。由于covid-19的影响，来自亚洲区的出席者相对往年减少了一些，整体出席规模在600人左右。主要参加了一个关于区块链发展机遇和挑战的panel 讨论，并做了一场构建企业分布式账本平台的关键问题和解决方案的报告。相关报告内容可以从https://hgf20....

数据科技（Data Science and Technology）在近二十年来越来越受重视，盖因大部分问题都直接来自业界的真实需求。甲骨文 Open World 大会（9.15~9.19）刚刚在旧金山谢幕。来自全球各地的科技巨头和行业客户齐聚一堂，探讨了包括分布式账本、智能技术、物联网等热门话题，以及可能对数据科技产生的深远影响。分布式账本作为社会学实验，比特币、以太坊等公共账本已经...

笔者一直颇为关注 FB 团队在数字资产方面的进展，并认为他们是最有可能首先大规模落地的。月前交流时曾询问具体发布时间，说是这个月中旬左右。果然，2019 年的 6 月 18 日，Libra 项目白皮书正式面世，要解决全球范围内普惠金融支付的问题。同一天，软件巨头微软宣布加入了全球最大的分布式账本项目——超级账本阵营。这两件事，恰好是新一代金融科技自比特币起，在支付和分布式账本两条主线上的里...

身份即为一切。身份的重要性两千五百年前，当老子郑重写下“无名，天地之始。有名，万物之母”的时候，他或许已经预见到了当今的信息化大时代。无论赛博空间，还是物理世界，能证明你的存在的，只有身份。你的所有资产属于银行数据库里的账号，你的上网数据属于社交网站的账号，甚至你的生物数据，未来也将属于标识你身份的那串数字……身份即为一切。从电话号码到 IPv4 和 IPv6；从 UID 到 UU...

概要gRPC 默认的接收消息限制自 v1.0 之后调整到了 4 MB，导致当接收消息超过 4MB 后会 reset 掉连接。问题分析首先这是个老问题，而且并不只有 Fabric 碰到，所有使用 gRPC 的情况下都可能碰到（不论是 Python、Java、Golang 语言），包括 Tensorflow 等项目中也都报了相关的bug，例如https://github.com/tens...

权限管理是区块链网络十分重要的功能，负责控制某个身份在某个场景下是否允许采取某个操作（如读写某个资源）。超级账本 Fabric 项目通过策略（Policy）来灵活指定各场景下的操作权限。策略应用场景具体来看，常见的策略场景包括如下表所示。其中，大部分都与系统配置链码相关，可以在通道配置中进行指定；部分为代码中的规定。对于存储在通道配置中的策略，可以利用 configtx.yaml ...

半个世纪前，互联网早期的设计者们在讨论网络设计原则时，一定无法想象到几十年后，与信息科技毫无关系的物流行业，也会演化出了惊人的相似结构。互联网体系架构的基础原则包括三个：报文格式：报文格式十分灵活可扩展，支持多种类型报文，支持不同长度报文，报文上标记点对点地址。转发设备无需额外修改。路由协议：根据优化目标的不同，可以有多种路由协议，它们彼此可交互，构成全球网络的路由表。存储转发：无连接...

前段时间有出版社老师问起新年读书计划。回首这一年，最大遗憾就是读得书太少，很多只粗略看了个开头。计划新的一年利用差旅中时间，认真读完几本好书。《论法的精神》牛顿的《自然哲学的数学原理》揭露了物理世界的根本规律，而孟德斯鸠这本巨著，堪称探讨了社会科学的基本规律。这本书影响颇为深远。华夏历史典籍中唯有《韩非子》异曲同工，然而成书太早，思想深度无法相提并论。《设计原本》如果你...

（据某次互联网立法研讨会议上的发言要点整理）科技与法律的关系过去百年，全球形成相对稳定的和平环境，各国经济都得到长足发展。类似欣欣向荣长达一个世纪的的境况，在农业时期和工业时期都很难想象，在整个人类文明史上也都是十分罕见的。其关键原因在于科学技术的突飞猛进尤其是信息科学技术的飞速发展，客观上缩小了世界的规模。过去百年，依赖量子物理学革命这一基础突破所带来的巨大红利。科技行业之所以...

如果从比特币项目上线算起，区块链科技已经走过了其第一个十年的历程。就新兴事物而言，十年时间可能不算久远。回顾过往，通过技术的快速迭代、应用的加速落地，区块链确实交付了一份充实的答卷。Gartner 咨询公司在2017 年做出预测，到2025年，区块链业务的附加值将达到1760亿美元。整个2018 年全年区块链行业的投资额同期涨幅超过300%。过去十年，区块链科技被应用在供应链、公共事务、金...

Peer 启动后会在后台执行 gossip 服务，包括若干 goroutine，实现位于 gossip/state/state.go#NewGossipStateProvider(chainID string, services *ServicesMediator, ledger ledgerResources) GossipStateProvider 方法。其中一个协程专门负责处理收到的区块...

从计算复杂性的角度，多项式意味着等价，指数意味着差异。从数的角度，多项式是等价类，指数则带来等级的差异。所以，很大概率上 P!=NP 。但是，为何指数如此特别？是否可从信息论角度进行分析？另外，从微分角度，对多项式来说意味着降维；指数则保持了不变性，是否与此有关？ 金融活动类似水，沿着势下降的方向流动。该过程中水量不变，但会影响到路径上的环境。如果没有路径控制，水流会造成坏的结果。如果有需求，而...

超级账本 Fabric 项目自 1.1 版本开始，关于增强通道内隐私保护的新特性引发不少讨论，如 FAB-1151、 FAB-2961、 FAB-4976、FAB-8718。本文将总结该特性设计过程和来龙去脉，以供后续开发者更好地理解最初的设计意图和核心思想。隐私保护问题超级账本 Fabric 1.x 系列版本中在增强隐私性方面做了很大改进，1.0 版本中一个重要特性就是多通道（Multiple...

欧盟《一般数据保护条例》（General Data Protection Regulation，GDPR）将于 2018 年 5 月 25 日起正式施行，该法案虽然旨在加强对欧盟境内相关居民和个体信息和隐私数据的保护，但从整个信息产业来看，是一次历史性的突破。欧洲再次走到了世界的前列。从此，个人数据（在部分地区）的保护将有法可依。发展过程2012 年 1 月首次提出法案草案，先后经过 2014 年...

超级账本（hyperledger.org）是面向企业应用的全球最大的分布式账本开源项目，由 Linux 基金会支持，创建于 2015 年底。目前已有200 多家 科技、金融行业领军企业加入成员，包括 IBM、Intel、摩根、甲骨文、万达、百度、腾讯等。大量基于超级账本技术的企业界区块链项目已经成功落地。现面向全球（首次向中国地区开放）开放 暑期实习职位申请，由 Linux 基金会赞助，与全球一线...

本文已正式发表于《清华金融评论》2018年2月刊（http://www.21wq.com/aaa/Tsinghua/magazine/wxpay/contentPage.php?id=1708），内容略有调整。如果说金融科技（Financial Technology，Fintech）是保障社会文明的重要支柱，那么账本科技（Ledger Technology，或记账科技）则是最核心的支柱基石。无论是...

如果从 ENIAC 诞生（1946 年 2 月）算起，人类进入信息社会已经过去了 70 余年。前三十年（1946 ~ 1976），计算机自身从电子管进化到晶体管再到集成电路，为后来计算机网络的出现奠定了物质基础。后三十年（1976 ~ 2006），计算机网络的出现，特别是 Internet 的出现，将多个主机联系起来，形成大规模的分布式集群，为整个信息时代构建了不可或缺的基础设施。

Hyperledger 源码分析之 Fabric排序服务在超级账本 Fabric 网络中起到十分核心的作用。所有交易在发送给 Committer 进行验证接受之前，需要先经过排序服务进行全局排序。在目前架构中，排序服务的功能被抽取出来，作为单独的 fabric-orderer 模块来实现，代码主要在 fabric/orderer 目录下。下面以 Kafka 作为共识插件为例

Orderer 节点启动通过 orderer 包下的 main() 方法实现，会进一步调用到 orderer/common/server 包中的 Main() 方法。核心代码如下所示。// Main is the entry point of orderer processfunc Main() { fullCmd := kingpin.MustParse(app.Parse(

Deliver，意味着客户端通过 gRPC 接口从 Ordering 服务获取数据（例如指定区块的数据）。Orderer 节点收到请求消息，会首先交给 orderer.common.server 包中 server 结构体的 Deliver(srv ab.AtomicBroadcast_DeliverServer) error 方法处理。该方法进一步调用 orderer.common.

Broadcast，意味着客户端将请求消息（例如完成背书后的交易）通过 gRPC 接口发送给 Ordering 服务。这些请求消息，会交给 orderer.common.server 包中 server 结构体的 Broadcast(srv ab.AtomicBroadcast_BroadcastServer) error 方法处理。该方法主要会调用到 orderer.common.b

注：本文最早发表于 2017-09-22.简介这里讲的 Chaincode 是用户链码（User Chaincode，UCC），对应用开发者来说十分重要，它提供了基于区块链分布式账本的状态处理逻辑，基于它可以开发出多种复杂的应用。Hyperledger Fabric 中，Chaincode 默认运行在 Docker 容器中。Peer 通过调用 Docker

《区块链原理、设计与应用》已经正式出版，详细介绍了区块链和分布式账本相关技术，以超级账本为例介绍企业分布式账本的设计原理、架构实现和应用技巧，欢迎大家阅读使用并反馈建议。获奖情况荣获2018年度机械工业出版社畅销图书奖，信息科技领域唯一原创获奖图书。编辑推荐本书由超级账本全球技术委员会委员、核心设计和开发者编撰，清华大学五道口金融学院常务副院长廖理教授作序，Apache 基金会...

本文最早发布于2017年5月9日。Anchor（锚点）：一般指作为刚启动时候的初始联络元素或与其它结构的沟通元素。如刚加入一个 channel 的节点，需要通过某个锚点节点来快速获取 channel 内的情况（如其它节点的存在信息）。Auditability（审计性）：在一定权限和许可下，可以对链上的交易进行审计和检查。Block（区块）：代表一

长期以来，golang 对外部依赖都没有很好的管理方式，只能从 $GOPATH 下查找依赖。这就造成不同用户在安装同一个项目适合可能从外部获取到不同的依赖库版本，同时当无法联网时，无法编译依赖缺失的项目。自 1.5 版本开始引入 govendor 工具，该工具将项目依赖的外部包放到项目下的 vendor 目录下（对比 nodejs 的 node_modules 目录），并通过 vendor

长达 48 小时的首届 超级账本亚洲黑客松 上周末（3.11，3.12）刚在上海落下帷幕。来自世界各地的近四十支队伍齐聚黄浦江边，举行了一场创意碰撞与技术交流的盛宴。天公也格外作美，推迟了本该早来的降雨。经过连夜苦战，最终绝大多数队伍都顺利完成了自己的作品，得以向开源社区的专家、业界的大咖、投资界的导师们展示自己的创意和实现，得到了诸多的建议和帮助，相信无论是否获奖的团队，都会觉得

注意：代码路径已更新，可以直接参考 https://github.com/yeasy/docker-compose-files/tree/master/hyperledger_fabric/。Hyperledger Fabric 1.0 版本整体 重新设计了架构，预计将于今年 3 月份发布。目前已经进入了 alpha 阶段，可以进行功能性验证。本文将介绍如何快速启动一个 Fabric 1.0 的网...

机器学习（Machine Learning）曾带有科幻的意味，来自于上个世纪五六十年代的科学家们对于人工智能计算的雄伟计划和梦想。那个时候，是信息技术革命的第一个黄金时期，计算机、宇航、控制论、生物、量子物理等重要科技都取得了前所未有的突破，不少人认为要解决这个世界的终极奥秘之一——意识，已经不再是白日做梦，至少，不少国家开始雄心勃勃的开始设计能替代人工的智能（神经网络 -> 推理模型 -

如何向 Hyperledger Fabric 项目贡献代码安装环境推荐在 Ubuntu 14.04+ 环境中开发代码，并安装如下工具。git：用来获取代码；golang 1.6+：安装成功后配置 $GOPATH 等环境变量。获取代码首先注册 Linux foundation ID，并登陆 https://gerrit.hyperledger.org/，添加个

 上周（9.19-9.24）在上海参加了第二届全球区块链峰会。整体感觉，整个产业已经上升到一个新的阶段了，开始有一些落地的项目，不再只是呼吁概念。天下大势，三分已成币圈和链圈渐行渐远，而目前区块链领域从技术实现上已经逐渐划分为三大阵营：以太坊、超级账本和其它。以太坊（Ethereum）：开源阵营。由 VB 同学带领的以太坊团队牵头开发。草根出身，自然受到很多个人开发者的喜爱，相...

ProtoBuf 是一套接口描述语言（IDL）和相关工具集（主要是 protoc，基于 C++ 实现），类似 Apache 的 Thrift）。用户写好 .proto 描述文件，之后使用 protoc 可以很容易编译成众多计算机语言（C++、Java、Python、C#、Golang 等）的接口代码。这些代码可以支持 gRPC，也可以不支持。gRPC 是 Google 开源的 RPC

Docker 1.12 在 2016 年 7 月 28 日正式 GA，除了大量的在使用上的改进和 bug 修复外，最引人瞩目的是原生支持了 Swarm 模式。熟悉 Docker 的读者都知道 Docker Swarm 是官方三剑客之一，提供了轻量级容器云的支持，以性能卓越出名，跟 K8s 面向应用的较为复杂的容器云方案一时瑜亮，各有千秋。本次 Swarm 模式特性的发布可谓重要变革

peer 服务是主服务。该服务支持各种 peer 命令。包括查询状态，和启动、停止节点服务等。serve 函数最重要的是 func serve(args []string) error 函数。当执行 peer node start 命令时候被调用，启动一个节点服务。首先是进行配置管理，根据配置信息和一些计算来构建 cache 结构，探测节点信息等。

关于区块链的探讨和争论从未停息。或许从计算技术的演变历史中能得到一些启发意义。上图是笔者在某次交流会中提出的。以云计算为代表的现代计算技术，发展历史上有若干重要的时间点和事件：1969 - ARPANet（Advanced Research Projects Agency Network）：现代互联网的前身，被美国高级研究计划署（Advanced Resea

区块链最近几年炒得很热，国内已有大量与之相关的企业，有些企业已经结合已有业务摸索出了自己的应用场景，但仍有不少企业处于不断试探和反复迷惑状态。从技术角度讲，区块链涉及到的领域比较杂，包括分布式、存储、密码学、心理学、博弈论、网络协议等，要一下子完全理解确实不太容易。甚至有人简单将区块链技术归结到分布式数据库的范畴，误导了对其的深入理解。实际上，要找到合适的应用场景，还是要从

货币是人类文明发展过程中的一大发明。很难想象没有了货币，现代社会的金融体系还能否持续运转。一般等价物都可以作为货币使用。然而平时最常见的货币形式还是纸币，它既方便携带、不易仿制、又相对容易辩伪。或许有人认为信用卡更方便。相对于信用卡这样的集中式支付体系来说，货币提供了更好的匿名性。而且碰到系统故障、断网、木有刷卡机器等情况，信用卡就不可用了。ps，货币 vs 信用卡并不是本文所关注

如果说以比特币为代表的货币区块链技术为 1.0，以以太坊为代表的合同区块链技术为 2.0，那么实现了完备的权限控制和安全保障的 Hyperledger 项目毫无疑问代表着 3.0 时代的到来。

网络中网关设备负责完成大部分的高级处理，因此网关设备的高可用十分重要。常见的高可用协议包括 HSRP、VRRP、GLBP、CASP。基本原理都是在一个组里面选出一个主节点，拿到虚的网关 IP 和 虚 MAC。这些协议也可以提供 IP 节点的高可用保护。HSRP全称是 Hot Standby Routing Protocol，Cisco 家 98 年公开的专利协议，在 RFC 228

之前基于 OpenStack 部署了一个云，运营下来一段时间下来还算正常，出现了各种问题也是意料之内，基本都很快搞定。搞云计算的人嘛，就得懂得多一些、深一些不是：）但有一天有个客户找上来反映了一个小问题，虽然最终解决掉，却引发了我的深思。问题客户的应用很简单，也是在我们的平台上申请了虚机，然后自己用 keepalived 为后面的某 db 业务提供 HA 保障。一切

Hash 大家都知道，把某个要存储的内容的索引 key 通过某个规则计算一下，算出来一个值，这个值往往范围比原来小，且概率意义上不会冲突。由于 Hash 计算复杂度往往比查找要快，被大量应用到各种大规模的系统中，特别是分布式系统。具体实践中有几个典型的问题。问题来源一致性 Hash 讨论地已经很多，基本故事就是分布式存储系统中，通过 Hash 来决定内容存到哪个节点上。

这里集中讨论的是 Linux 上的网桥功能实现，软件实现主要包括 Linux Bridge，MacVLan/MacVTap 和 OpenvSwitch。硬件实现主要是 SR-IOV。基本上，越硬件实现功能越简单，性能越好。Linux Bridge最经典的网桥实现，基本上参考一个传统硬件交换机的功能来实现，自学习转发表，支持 STP。物理网卡可以绑定到 LB 上，通过混杂模式

HTTP/2 是 HTTP 协议的第二个正式版本，于 2015 年 5 月 15 日正式发布，到现在短短半年时间里已经获得了大量的关注和实现支持。本文将介绍其核心的理念和相关知识要点。可以通过访问 Akamai HTTP/2 测试页 来体会性能提升效果。本地测试结果差一个数量级 。为何要有 HTTP/2主要目标是优化性能，次要目标是安全性和互操作性。其实也是因为现在越来越多

很早就想写一写区块链（Blocking Chain）技术，作为比特币等一系列应用背后最核心的技术，它的前景充满了各种可能和挑战。最近身边不少人感兴趣，正好总结下。起源和背景相比区块链，更多人都听说过比特币。其实最早 08 年的时候比特币就已经问世了，但真正流行起来还是在 10 年后的事情。其官方网站是 bitcion。发明人（传言代号为中本村的澳大利亚人）到目前为止尚无法确认身份，

集群负载均衡技术（Load Balancing）是目前互联网后端服务的关键技术，是互联网系统演化到现在这样巨大规模的基础。客观地说，负载均衡是一个门槛相当不低的领域，已有技术主要包括硬件方案和软件方案。简单说，硬件方案性能好，但是昂贵；软件方案性能差，但是成本相对可控。硬件方案代表为F5、Ctrix、A10、Redware 等 LB 厂商的产品，每年市场营收额高达百亿。开源

注：本文是某次技术分享的内容草稿，内容可能跟最终发布版本略有调整。背景群里已经不少文章讨论使用容器技术的宝贵经验。今天我主要讨论 OpenStack 这样一个 IaaS 平台，聊聊它面对容器技术，特别是 Docker 所出现的一些新的项目和进展。可能有人觉得，现在容器云这么热，OpenStack 这样的传统 IaaS 平台是不是有点过时了？目前新

本次峰会是 10.27 ~ 10.30，四天在东京的品川站附近召开，6000 多人参会，几百个主会 speak 和各个项目的 design summit。因为要做一个有关容器和网络的 speak，所以，虽经波折，最终还是按时参加了峰会。业余玩社区确实挑战比较大。整体感受是，时间很紧，内容很多，身体压力很大。虽然只挑了最核心最热门的话题去听，也是从早到晚急匆匆地从一个会场赶到另一个（

如果从概念的提出（2006 年由 IBM、Google 联合提出）算起，云计算即将步入第二个十年。在第一个十年里，云计算从被质疑到成为新一代 IT 标准，从单纯技术上的概念到影响到整个业务模式。虽然到目前为止，还有很多不成熟的地方值得探索，但云计算在第一个十年里已经正式确立了它的地位，已经被广泛接受并实践。在云时代的下一个十年里，IT 行业又会发生哪些变化呢？ops

简介Spark 是 Berkeley 开发的分布式计算的框架，相对于 Hadoop 来说，Spark 可以缓存中间结果到内存而提高某些需要迭代的计算场景的效率，目前收到广泛关注。熟悉 Hadoop 的同学也不必担心，Spark 很多设计理念和用法都跟 Hadoop 保持一致和相似，并且在使用上完全兼容 HDFS。但是 Spark 的安装并不容易，依赖包括 Java、Scala、HD

而 elasticsearch 可以很好的支持各种语言的全文检索，但我们暂时又不想切换到 elasticsearch 作为后端数据库。当然，可以在 web 应用中存储数据的时候，再主动写一份到 elasticsearch，但这无疑污染了原有的业务逻辑。在 IT 行业，只要有需求的地方，必然早已有了一堆好用或者不好用的开源轮子。幸运地是，现在已经有了一些转换方案，可以将 mo

在互联网应用领域，服务的动态性需求十分常见，这就对服务的自动发现和可动态扩展提出了很高的要求。Docker 的出现，以及微服务架构的兴起，让众多开源项目开始关注在松耦合的架构前提下，如何基于 Docker 实现一套真正可动态扩展的服务架构。基本需求基本的需求包括：服务启动后要能自动被发现（vs 传统需要手动进行注册）；负载要能动态在可用的服务实例上进行均衡（vs 传

概述Consul 是一套开源的分布式服务发现和配置管理系统，由 HashiCorp 公司用 Go 语言开发。它具有很多优点。包括： 基于 raft 协议，比较简洁； 支持健康检查, 同时支持 HTTP 和 DNS 协议 支持跨数据中心的 WAN 集群 提供图形界面 跨平台，支持 Linux、Mac、Windows安装从 www.consul.io/downloa

Docker registry 工具现在已经很好的支持了 mirror 功能，使用它可以配置一个本地的 mirror 服务，将 pull 过的镜像 cache 在本地，这样其它主机再次 pull 的时候会极大提高响应速度。使用 docker-compose 启动 registry mirror 服务以 ubuntu 为例，首先要安装 docker 和 docker-compose。

framework 是实际干活的，可以理解为 mesos 上跑的 应用，需要先注册到 master 上。长期运行的服务Aurora利用 mesos 调度安排的任务，保证任务一直在运行。提供 REST 接口，客户端和 webUI（8081 端口）Marathon一个 PaaS 平台。保证任务一直在运行。如果停止了，会自动重启一个新的任务。

Mesos 的 配置项 可以通过启动时候传递参数或者配置目录下文件的方式给出（推荐方式，一目了然）。分为三种类型：通用项（master 和 slave 都支持），只有 master 支持的，以及只有 slave 支持的。通用项--ip=VALUE 监听的 IP 地址--firewall_rules=VALUE endpoint 防火墙规则，VALUE 可以是 JSON

OpenStack 发展十分迅速，目前已经包括了几十个正式项目，和大量的孵化项目，基本实现了 AWS 的大部分功能。业务项目基础架构层计算服务Compute (Nova)：提供虚拟机形式的虚拟化Bare Metal (Ironic)：提供裸机形式的虚拟化注：目前除了不完整的 Nova-Docker，还没有提供容器形式的虚拟化项目，Magnum 目前定位更多的

容器技术的快速发展，挤占了传统虚拟机技术的很多地盘。没办法，在启动速度和运行性能上，容器实在有着太多的优势，而虚拟机技术的发展实在太过缓慢。现在，受到容器技术的刺激，，推出了启动速度可以跟容器媲美的下一代虚拟化技术 -- hyper。简介简单的说，hyper = Hypervisor + Kernel + Docker Image，本质上还是一种虚拟机技术。hype

Pacemaker 只做资源管理器（CRM），底下的消息系统采用 corosync。安装以 ubuntu 为例，sudo aptitude install -y pacemaker corosync配置 corosync修改 /etc/default/corosync 文件，修改 start=yes，否则服务脚本无法启动。

首先，Mesos 是一个资源调度框架，并非一整套完整的应用管理平台，本身是不能干活的。但是它可以比较容易的跟各种应用管理或者中间件平台整合，一起工作，提高资源使用效率。架构 master-slave 架构，master 使用 zookeeper 来做 HA。master 单独运行在管理节点上，slave 运行在各个计算任务节点上。各种具体任务的管理平台，即

简介Mesos 是一个集群资源的调度工具，Apache 开源项目，它的定位是要做数据中心操作系统的内核。目前由 Mesosphere 公司维护，更多信息可以自行查阅 Mesos 项目地址或 Mesosphere。Marathon 是可以跟 Mesos 一起协作的一个 framework，用来运行持久性的应用。安装一共需要安装四种组件，mesos-master、mar

容器技术最近很火，各家项目纷纷提出自己的支持方案，比如 OpenStack、CF、Mesos，以及一堆本身就基于容器的平台方案，更是跟容器技术脱不开关系。这也直接导致了暧昧已久的 IaaS 和 PaaS 开始正面的跨界冲突。在 IaaS 看来，做 PaaS 无非就是提供几个应用模板嘛，原来虚机不好做，现在用 Docker，瞬间给你把服务整起来。更别提还有最近出来搅局的 hyper，

ref: https://github.com/xirong/my-git/blob/master/git-workflow-tutorial.md

Pod首先，Kubernetes 中的基本单元是 Pod，而非 Docker 容器。Pod 是一组共享了下面资源的容器： 进程命名空间 网络命名空间 IPC 命名空间 UTS 命名空间简单的讲，一个 Pod 是一个小型的“虚拟机”，里面运行若干个不同的进程，每个进程实际上就是一个容器。Kubernetes 要干的事情是要把这些 Pod 给互相连接起来，是不是联想到了

背景Magnum 项目是 2014 年 11 月加入 OpenStack 的年轻项目，由 Rackspace主导发起，其定位是提供容器即服务（Container as a Service）的 API 框架，计划在 2015 年 10 月推出的 Liberty 版本时成熟。我们知道，目前 OpenStack 中 Nova 项目已经通过 nova-docker 的形式支持了 Docke

简介ELK 套装包括 ElasticSearch、LogStash 和 Kibana。 其中，ElasticSearch 是一个数据搜索引擎（基于 Apache Lucene）+分布式 NoSQL 数据库；LogStash 是一个消息采集转换器，类似 Syslog，可以接收包括日志消息在内的多种数据格式，然后进行格式转换，发送给后端继续处理；Kibana 是一个 Web 前段，带有强大

背景IPsec 协议可以用来在 IP 层提供校验和加密等安全特性。基于 IPsec 的 VPN 已经成为 site-site 模式下高可靠连通方案的首选。NAT 最初是为了解决地址不足的问题，它将 NAT 网关后的实际地址隐藏起来，对外呈现一个外部地址，通常包括基于地址的映射（设备负责将内外地址进行对应和替换）和基于端口（通常外部为同一地址，根据到达端口的不同替换为内部不同的地址和

四张表，每个表有若干链。filterINPUT（路由表决策后，到本机的进程）FORWARD（路由决策后，发现不是到本地）OUTPUT（本机进程发包，路由决策后准备发到外面）iptables -t TABLE 操作 CHAIN 序号 规则-m state --state ESTABLISHEDnatPREROUTING（路由之前）POS

Docker 大热之后，不少公司都试图搞清楚 Docker 能给自己的业务带来什么好处，有些团队甚至一股脑地把东西都往容器里面塞。其实，技术领域不存在能一劳永逸的“银弹”，要正确的使用 Docker 容器技术才能给自己带来好处，否则可能带来难以预料的后果。下面四条基本原则，在选择容器技术，而不是裸应用或者虚拟机的时候都应该先认真衡量下。1、是否需要支持分发。Do

目前安装 OpenStack 常见的方案有 Redhat 的 RDO 和社区的 DevStack。当然，也可以手动安装，可以参考：github.com/ChaimaGhribi/OpenStack-Juno-Installation/blob/master/OpenStack-Juno-Installation.rst其中，RDO 功能比较强大，运行也稳定，可以在一个节点上通过一个

NAT默认方式。虚拟机获取一个私有 IP（例如 192.168.122.0/24 网段的），并通过本地主机的 NAT 访问外网。创建一个本地网桥 virbr0，包括两个端口：virbr0-nic 为网桥内部端口，vnet0 为虚拟机网关端口（192.168.122.1）。brctl showbridge name bridge id STP enabled inte

C10K 问题服务器同时支持并发 10K 量级的连接，这些连接可能是保持存活状态的。解决这一问题，思路主要有两个方面，一个是对于每个连接处理分配一个独立的进程/线程；另一个思路是用同一进程/线程来同时处理若干连接。每个进程/线程处理一个连接这一思路最为直接。但是由于申请进程/线程会占用相当可观的系统资源，同时对于多进程/线程的管理会对系统造成压力，因此这种方案不具备

监控指标延迟（Latency）丢包率（Packet Loss）吞吐量（Throughput）链路使用率（Link Utilization）可用性（Availability）测量手段主动 vs 被动单点 vs 多点网络层 vs 应用层镜像 vs 采样主机端 vs 交换节点流量抓取协议镜像/SPAN把被监控端口的流量复制一份，发送到特定目的端口。某些硬件

主机内二层转发（即服务器内虚机间转发）基于本地软件交换机交换VMWare 方案，通过服务器上软件交换机（如 Linux 网桥、OpenvSwitch）来实现。主要问题是对服务器性能有消耗。802.1Qbh BPE（Bridging Port Extend）已终止。Cisco 主导，数据层面为 PE(Port Extender)。802.1BRCisc

几天前（1 月 13 日），OpenvSwitch 团队正式宣布了 OVN（Open Virtual Network ）项目。正文参考 Open Virtual Network Annoucement。这个项目挺有意思，简单谈下我的看法。众所周知，OpenvSwitch 已经是现在数据中心里软件交换机的事实标准。由于硬件交换设备的成本一直降不下来，而且用硬件交换设备去延伸管控服

计算机网络自诞生之后，面向的应用场景主要包括局域网、广域网两大类。在各种环境中，通过层级结构将局域网连接起来，形成一个网络的网络，即所谓的互联网。无论什么网络，唯一的事实标准就是 TCP/IP 协议栈以及围绕这个协议栈的各种管理和应用技术，即便后来推出的 IPv6、CCN、SDN 等网络技术，都没有完全超出这个范畴。所以，看起来基于 TCP/IP 的修修补补在相当长的一段时间里满足了各种场景下对于

Docker 默认使用的是 Linux 自带的网桥实现，实际上，OpenvSwitch 项目作为一个成熟的虚拟交换机实现，具备更丰富的功能。个人认为，将来 Docker 必然会选择 OpenvSwitch 作为其默认网桥实现。有兴趣的同学欢迎通过如下的步骤来尝鲜。环境在 Ubuntu 14.04 系统中进行测试。操作流程也适用于 RedHat/CentOS 系列系统，但少数命令和配

产品经理带团队做产品的过程，跟博士生带课题写论文其实很像。产品调研市场状况和用户需求，写 PRD、BRD、MRD；科研课题要有分析应用前景和技术趋势，写立项申请。产品要有同类产品分析，写好研究报告；论文要做相关工作综述，写好背景知识。做产品前要定好 feature，根据资源定好范围；写论文前要设计创新点，根据篇幅安排内容。产品正式上线前要先做个预研 demo，最好能小规模用户试用下；课题成

Docker 的镜像管理设计中大量借鉴了 Git 的理念。下面这张图将对两者的核心概念和操作进行比较，有助于大家快速掌握管理 Docker 镜像的正确方式。

历史OpenStack 作为最热门的云计算开源项目，自 2010 年 10 月发布第一个版本 Austin 以来，到 2014 年 10 月 发布 Juno 版本，已经经历了 10 个主要版本。基本稳定为每年 4 月和 10 月各发布一次大的版本更新。网络功能实现是自第二个版本，即 Bexar 版本引入，最初作为 Nova 项目的一个功能 Nova-Network，仅支持所有用户共

熟悉 Linux 技术的人都知道，容器只是利用名字空间进行隔离的进程而已，Docker 在容器实现上也是利用了 Linux 自身的技术。有时候，我们需要在宿主机上对容器内进行一些操作，当然，这种绕过 Docker 的操作方式并不推荐。如果你使用的是比较新的 Docker 版本，会尴尬的发现，直接使用系统命令，会无法访问到容器名字空间。这里，首先介绍下 ip netns 系列

已经完成，可以从 http://yeasy.gitbooks.io/openstack_code_heatclient 在线阅读。

支持 Markdown 的网页 slides 工具总结在注重效率的今天，很多人都不喜欢制作 PPT，特别是技术人员。流行的 PPT 制作工具往往需要用户关注太多内容无关的细节。而像 TeX 这样强大的系统又似乎太过于重量级了。现在越来越流行制作网页格式的 slides，并通过浏览器来播放和发布。 这样做有很多优点：包括跨平台（特别在移动端）、无需特殊软件支持、分享方便、轻量级等。

目前还在进行中，开源在 https://github.com/yeasy/openstack_code_Heat，欢迎大家参与完善。

云计算时代，设计和应用软件应用应该注意哪些因素？Docker 为什么最近这么火？Heroku平台提出了推荐的应用风格，对我们设计PaaS和SaaS应用都有很好的参考意义。代码一个代码库，使用版本管理，形成多个部署。依赖显式定义，隔离不同依赖。配置在环境变量中保存配置。后端服务后端服务作为可挂载资源使用。生命周期

Docker 1.3 发布Docker 1.3 已经正式发布，新的特性包括镜像签名、进程注入、新的创建和运行容器命令、安全选项和 Mac OS 上进行目录共享。特别是针对安全方面的改进，成为本地发布的亮点。镜像签名支持对镜像的发布者和镜像文件进行验证。进程注入除了通过 nsinit 和 nsenter 的方式查看容器内应用之外，可以使用更方便的 docker e

指令的一般格式为INSTRUCTION arguments，指令包括FROM、MAINTAINER、RUN等。FROM格式为FROM 或FROM :。第一条指令必须为FROM指令。并且，如果在同一个Dockerfile中创建多个镜像时，可以使用多个FROM指令（每个镜像一次）。MAINTAINER格式为MAINTAINER ，指定维护者信息。RUN格式为RUN 或RUN

不少人把同步、异步、阻塞、非阻塞放到一起讨论，很多时候难以区分。这里从根上剖析下该怎么看待这几个概念。首先，异步和同步是相对的，而同步情况下又有阻塞和非阻塞之分。异步很容易理解。当用户程序需要进行IO的时候，发出IO请求，然后就立刻返回，可以继续做其它事情。例如，从网络收包，当包抵达后放到内核某个缓存区，并且从内核空间放置到程序需要的用户空间后（一种是直接复

并发（concurrency）和并行（parallelism）都是常见的概念，并且很多时候并不容易进行区分，甚至被用作表达同样的概念。网上最流行的解释，并发是一个人吃三个馒头；并行是三个人吃三个馒头。这样理解简单概况了主要区别，但其实并不是太完整。从对象的角度，并发是一种任务分配模式，指的是同一个处理器被调度处理不同的任务，这些任务往往都是同一性质的任务。例如浏览器打开多个页面

网络虚拟化最基础的技术莫过于分层（Overlay、Underlay），要实现分层有两种手段，一个是映射（Mapping），一个是封装（Encapsulation）。映射，主要思路是转发时替换报文语义，如何替换将需要设备进行查询。封装，则是把需要的报文语义添加到网包中，处理的时候一层层的解封装即可，尽量对设备透明。不少协议都实现了封装的部分或完整功能，包括IP-in-IP

Docker支持采用仓库（本处指的是registry）来支持镜像的分发和更新管理。这极大的便利了用户。官方提供了dockerhub网站来作为一个公开的集中仓库。然而，本地访问dockerhub速度往往很慢，并且很多时候我们需要一个本地的私有仓库只供网内使用。关于如何创建和使用本地仓库，其实已经有很多文章介绍了。但是这些文章要么内容已经过时，要么给出了错误的配置，导致无法正常创建仓库。

正常在生产环境中，各个节点会做HA，可以用域名机制来管理节点。但是有时候如果用了

现在讨论Docker安全性的话题颇多，主要集中在对使用容器方式的隔离性、攻击防护性等方面。往往与虚拟机方式进行比较。首先，从安全性上看，Docker容器的安全性比不上虚拟机，这点是毋庸置疑的。容器内的应用可以直接访问到主机系统内核；而虚拟机中的应用首先要访问到虚拟机的操作系统，然后在经过hypervisor层才能访问到外部的系统。而且，虚拟机方式在生产环境中经过诸多检验，更加成熟一