分布式技术一周技术动态 2016-10-09

分布式系统实践

1. Spark 2.0 时代全面到来！

http://mp.weixin.qq.com/s?__biz=MjM5MDAxNjkyMA==&mid=2650719749&idx=1&sn=631dd8beb0dee05367765ddf1b3bc501&chksm=be4152f28936dbe4d487a9a23cf5e8a8ad9f0a727b7310288585809bed603e767575ed1f6da3&scene=0#rd

要点: 我们都知道, 大数据分析存在离线和在线两种计算模型, 用于解决不同的问题. Spark的神奇之处在于既可以支持离线批量计算模型, 又可以支持在线近实时计算模型, 一套框架同时支持两种计算模型, 这就大大降低了学习和使用的成本, 同时得益于对SQL和R语言等支持, 对数据工程师更加友好. Spark 2.0大幅度的对spark core和spark SQL进行了重构, 大幅度提升了Spark的性能(2~10倍), 功能方面提供了dataset的high level API, 可能会逐步取代RDD low level API.

2. 分布式数据库模式与反模式

http://mp.weixin.qq.com/s?__biz=MzI3NDIxNTQyOQ==&mid=2247484004&idx=1&sn=36d30d0446f7ca16eb9ca7dced100ffc&scene=19#wechat_redirect

要点: 这篇文章是PingCAP 联合创始人兼 CTO 黄东旭在「2016中国数据分析师行业峰会(CDAS)」 “数据库与技术实战”分论坛上的演讲实录. 作者从基础软件的发展趋势开始讲起, 首先介绍了现有MySQL类RDBMS的痛点, 然后介绍了与之对应的NoSQL数据库解决方案以及弊端, 最后介绍了NewSQL的设计思路, 可以说是由浅入深的介绍了分布式数据库的主线技术. 并且特别的指出了应用分布式数据的模式与反模式, 帮助我们确定在什么业务场景下选择什么样的数据库.

服务化和虚拟化

1. 支持亿级访问量的私有云服务架构探索

http://mp.weixin.qq.com/s?__biz=MzI4NzE1NTYyMg==&mid=2651101960&idx=1&sn=2aa84643a430750ab0084385d7197458&chksm=f021cfc1c75646d7d462b269881c26dba81ba2a93a839302ea5e1b555d80ffe65d94dfc18c35&mpshare=1&scene=1&srcid=0928eHwGByRZuDVgDuGKhLWo#rd

要点: 这篇文章是在2016深圳archsummit大会上, 同程旅游的首席架构师王晓波分享的同程旅游的私有云架构, 从底层的虚拟机管理, 到容器平台再到云化的缓存和数据库服务等内容, 非常全面的涵盖了私有云的方方面面.

2. 微服务模式系列

http://mp.weixin.qq.com/s?__biz=MzI5MDEzMzg5Nw==&mid=2660393905&idx=1&sn=99bf79eaa9771032126de547cbf4b6ea&chksm=f7424157c035c8413bb004930efe9ef19e78091388ad44580cbec1723c81976674d2db216fc8&scene=0#rd

http://mp.weixin.qq.com/s?__biz=MzI5MDEzMzg5Nw==&mid=2660393921&idx=1&sn=7f96e9a3a1cb73bb41ed9338e1f64110&chksm=f7424127c035c8318857c7643fa9560908f6d69bf6ccfb6d468ad7ca20961784ed7a059552d5&scene=0#rd

http://mp.weixin.qq.com/s?__biz=MzI5MDEzMzg5Nw==&mid=2660393965&idx=1&sn=08832873f607960d495a34dbb328fc71&chksm=f742410bc035c81d59efcfdb582929ab418ff63ec640e0a6903e406936f04c63554a9bc00f1a&mpshare=1&scene=1&srcid=1004AWr8QeQAcdepDhxk5KWr&from=groupmessage&isappinstalled=0#wechat_redirect

要点: 这一系列的文章翻译自Chris Richardson的微服务模式系列文章, Chris Richardson，世界著名的软件大师，经典技术著作《POJOS IN ACTION》一书的作者, 与 Martin Fowler、Sam Newman、Adrian Cockcroft 等并称为世界十大软件架构师。这里是文章的前三部分, 包括微服务整体架构和API网关的设计.

高可用技术

1. 为什么我的服务器资源使用率这么低？

http://mp.weixin.qq.com/s?__biz=MzI4OTE3MTI1NA==&mid=2649863064&idx=1&sn=02bb758ff2ec07b14dc160e5123ff57e&chksm=f43621c1c341a8d76aff60114d56f03f3113a623c7c9a7761de54aefb17124de2e78460d5e6e&scene=0#rd

要点: 尽可能的提升服务器的资源使用率是我们做基础架构工程师一直追求的目标之一, 然而提升资源使用率却是一个复杂的过程, 这篇文章总结了影响资源使用率的因素, 并且归纳了常见的解决方案.

2. 美团点评：大促活动前如何做团购系统流量预算和容量评估

http://mp.weixin.qq.com/s?__biz=MjM5MDE0Mjc4MA==&mid=2650994320&idx=1&sn=522b995e9161f0a3534e70bdc5890f6d&chksm=bdbf0ec38ac887d5e33321aef54c9cad9b3fc3c3e6eb86192cecebf290df3a84c7316a1dd3e0&mpshare=1&scene=1&srcid=1005CeQk4Ffmm9s43MGk6XQc#rd

要点: 电商大促之前必须要进行复杂的容量估算和容量评估工作, 这篇文章介绍了美团团购系统的压测过程, 针对不同接口和流量, 选择不同的压测方法, 并且使用docker快速搭建线上模拟环境等, 大家可以想想和我们的压测有什么不同, 有哪些地方可以借鉴.

DevOps 技术

1. 大数据下的技术运营

http://mp.weixin.qq.com/s?__biz=MzIzNjUxMzk2NQ==&mid=2247483844&idx=1&sn=809c8afc9d05a10dac12fbb1c46b1ef7&chksm=e8d7fe06dfa07710eba95eec7a14f4ecf9b513d0e6b869cdc9d257b907156a0bf49c4e3a9175&scene=0#rd

http://mp.weixin.qq.com/s?__biz=MzIzNjUxMzk2NQ==&mid=2247483849&idx=1&sn=68b1e0cdbbdb4d7a662eb1d43229f96c&chksm=e8d7fe0bdfa0771d146996a5fa11ba0926731fb040240df7d2d8ad2ce3eac526a89b7278cc2d&scene=0#rd

http://mp.weixin.qq.com/s?__biz=MzIzNjUxMzk2NQ==&mid=2247483858&idx=1&sn=c3da793e5df162d313850b029614ed00&chksm=e8d7fe10dfa07706939c0837396c50e9909c6050f0a7226743fe06842f403644eb22fde4ab96&scene=0#rd

要点: 这几篇文章非常全面的介绍了TalkingData开源的OWL(猫头鹰)监控系统的设计和实现思路, OWL覆盖超过20亿独立智能设备，服务10万款移动应用以及8万多应用开发者, 管理近千台服务器.

2. 我们离Google SRE还有多远？

http://www.jianshu.com/p/6c222a0832ee?utm_campaign=maleskine&utm_content=note&utm_medium=reader_share&utm_source=weixin&from=timeline&isappinstalled=0

要点: 根据google SRE一书的描述, 作者分别从基础设施, SRE的能力, SRE的思想这三个方面, 对自身和google SRE进行了一系列对比, 总结了自己和google SRE的差距, 明确了努力的方向. 有意思的是, 作者提到的这些问题和我们是那么的相像, 看来即使是国内一线互联网公司, 在这方面还有很长一段路要走.

基础和文化

1. 节约标兵IE的自述

http://mp.weixin.qq.com/s?__biz=MzAxOTc0NzExNg==&mid=2665513338&idx=1&sn=eab5facc50a983f784779f11ae31decf&chksm=80d67939b7a1f02f3123a20c4cb9ee229ecc51072485987a1ca99db85df530233b7706ac71d7&scene=0#rd

要点: 像写小说一样写技术文章, 这哥们可以说是IT界第一人了吧. 作者用故事化的描述方式, 把计算机的原理深入浅出的展现给我们, 真是非常喜欢作者的文风.

2. 腾讯产品总监曹菲：为何我工作10年，内心仍无比恐慌？

http://mp.weixin.qq.com/s?__biz=MzA3NDM1NjUwMQ==&mid=2650487770&idx=2&sn=7809d9f461dfa6f0eac19abd744fe874&chksm=870e99a0b07910b6a8794e60610c5194e24aff5a7bd384010b82d08bbc931993029154614c3e&mpshare=1&scene=1&srcid=1003uKZ1wvejG2zJ444gBYlN#rd

要点: 文章的内容和观点写的很实在, 虽然这篇文章是针对产品经理的, 但是很多观点我觉得对于研发也同样适用, 而且作为研发也需要经常和产品经理打交道, 推荐大家阅读.