分布式技术一周技术动态 2016.05.22

分布式系统实践

1. 京东：10万规模容器的实践及运营之道

https://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=2651659686&idx=1&sn=6e068869eba4a8ef7a6388c55494a85d&scene=0&key=f5c31ae61525f82ec4056be88de346f430e551f2ee71c8a43fe5c84805ade86d7212fe23f21e5e776b4cbf8462fdf2d5&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=YsDlvJRXzH8g77Pvi9Gm%2BBFz9FM4D2P822gajb%2B68YDcRwfzg%2Bqvz2wZ8RYm%2FHju

要点: 本文介绍了京东的基于docker的弹性云平台, 支持了10w+个docker容器, 以及围绕弹性云平台构建的整个生态系统.

2. 前Oracle架构师：如何实现分布式平台的内核设计

https://mp.weixin.qq.com/s?__biz=MjM5MDE0Mjc4MA==&mid=2650992496&idx=1&sn=6c876df4b8892a07e6786b46f9242ded&scene=0&key=f5c31ae61525f82e36731abef45eba6c4440e1bc0bb7d23ca370de7f63dda420cd33d96ee3e9c9d5e5c22d82b0a31eb9&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=YsDlvJRXzH8g77Pvi9Gm%2BBFz9FM4D2P822gajb%2B68YDcRwfzg%2Bqvz2wZ8RYm%2FHju

要点: 这是一篇关于方法论的文章, 非常系统的总结了设计分布式平台内核的方方面面, 包括编程模型, 任务调度, 一致性等.

3. 幂等（idempotence）

https://mp.weixin.qq.com/s?__biz=MzIyOTM3NjU3Ng==&mid=2247483664&idx=1&sn=cc970b0b7835afeec425e26d5adb10cf&scene=1&srcid=0520aDPydlR3m4Rvq7lDNAeN&key=8d8120cb97983fada3a0cc8c52ee3056445c5e2900ec7fcd2504bc0848831fb1c8d37aa30ed9c5e3292286cdb4887de6&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=ZZJYB2J5cP8Xtr3T79Fp%2B47dkxAuUleGI3x7Lz2XBzJZ3jf3x2Npupnmq2OXp4OS

要点: 幂等对于网络接口来说是非常重要的一个特性, 这篇文章介绍了如何将不幂等的接口, 改造成幂等的接口. beehive作为底层运维的基础, 在重构中一个重要的原则就是把所有接口修改成幂等接口, 这样外围系统可以做任意的重试而不会带来副作用.

服务化和资源管理技术

1. intel: CAT技术助力数据中心资源隔离

https://mp.weixin.qq.com/s?__biz=MzI4OTE3MTI1NA==&mid=2649863042&idx=1&sn=f89b2390527e4adeb02c86cfc169b931&scene=0&key=b28b03434249256b9e9bc38df826d99e8a8750a77f9db198059d2ae6ccbb20bd312f2ea92513ad86637ba826994b6b33&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=l6LmOyfc5ZdIzkasbzdpcElxJTgzxdsoosnec%2BGSXhSK5%2B8aJ8YeoqIbeiRw6tkG

要点: 虽然cgroup解决了或者正在逐步完善cpu, 内存, disk iops的隔离技术, 但是比较底层的资源, 比如L3 cache, memory bandwidth, 还是无法做到隔离. 本文介绍了intel的CAT技术, 希望在硬件层面上对应用使用L3 cache的容量进行限制, 从而实现L3 cache隔离的目的.

2. 我就是认真：如何提高Linux下块设备IO的整体性能

https://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=2651659684&idx=1&sn=0768ce70e51ddb2e1314ca3c2b02dd8d&scene=1&srcid=0516BrRSbFnaoylPr5XHVmz5&key=b28b03434249256b5df1f980673aeb9460fb14f4a8fa46e4845bad02144dd065c5f4ad96744440a238a3a903fe6e97ce&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=l6LmOyfc5ZdIzkasbzdpcElxJTgzxdsoosnec%2BGSXhSK5%2B8aJ8YeoqIbeiRw6tkG

要点: 相信很多同学都对cgroup如何实现IO资源隔离非常感兴趣, 这篇文章详细介绍了linux内核对IO的几种调度算法, 并且说明了各个调度算法适用的场景, 理解了这些调度算法, 就不能理解cgroup实现IO隔离的基本原理了.

3. 再谈容器与虚拟机的那点事

https://mp.weixin.qq.com/s?__biz=MjM5MjAwODM4MA==&mid=2650686494&idx=1&sn=ee996ea3f73d6b6b0df84a0b9483eac8&scene=0&key=8d8120cb97983fad55bf5b1410345febd92dd0f0e7bb7aad22fc8b8eda894dc8df03f96d3432b572a92a0a4a5b412c07&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=ZZJYB2J5cP8Xtr3T79Fp%2B47dkxAuUleGI3x7Lz2XBzJZ3jf3x2Npupnmq2OXp4OS

要点: 容器技术源于虚拟化技术的发展, 容器和虚拟机这一对欢喜冤家经常被大家拿在一起讨论和比较, 在docker普及的今天, 事实上, 容器和虚拟机的碰撞产生了很多创新, 产生了容器和虚拟机结合的技术, 本文介绍了RancherOS, Hyper和LXD这3种技术, 给我们提供了更大的想象空间, 如果有一个在体积, 启动速度, 隔离性, 安全性, 性能损失上和容器一样的虚拟机, 那么大家会用容器还是虚拟机呢?

 4. 从Google的PaaS平台说起，解析中美Docker生态圈

http://toutiao.com/a6286364523653759490/?tt_from=weixin&utm_campaign=client_share&app=news_article&utm_source=weixin&iid=4341776733&utm_medium=toutiao_ios&wxshare_count=1

要点: 本文选自清华大数据产业联合会会员、数人云CEO王璞博士在5月18日第八届中国云计算大会上主题为“中美容器之融合与变革”的分享.

 

 

服务高可用技术

1. S3、Cassandra、HDFS设计中隐藏的高可用法则

https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=2653547203&idx=1&sn=e3e0c95611b9b09c6b285e84b4c6edbe&scene=0&key=8d8120cb97983fadf63637fe85ba23f2978cf90ec4d9e8acad4025616b1d3c3f3271ad334ccda99d577350f798b459a4&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=tBYarQ9VqljGZmM4yPhDBcPU6%2BMHdeeAETVZmAKI%2FjsDMjlcFu037quZaRbkJOTX

要点: 本文首先介绍了如何度量一个分布式存储系统的可用性, 然后结合具体例子, 说明了提升可用性的方法. 其实度量是非常关键的, 如果无法准确度量, 那就无法有针对性的提升, 本文总结的度量方法尤其值得学习和总结.

2. 阿里管控系统靠什么扛住全球最大规模的流量洪峰？

https://mp.weixin.qq.com/s?__biz=MjM5MDE0Mjc4MA==&mid=2650992525&idx=1&sn=649e3c92d6ae752b8350ea54577c2497&scene=0&key=8d8120cb97983fad489da36e82d2d9351c02b2f5cc09770087542df7ec4f2ec448a2771bfcb0413a0d613a841e53230d&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=tBYarQ9VqljGZmM4yPhDBcPU6%2BMHdeeAETVZmAKI%2FjsDMjlcFu037quZaRbkJOTX

要点: 面对海量流量, 限流系统对于保护系统过载是非常重要的, 那么阿里是如何扛住双十一的流量洪峰的? 本文介绍了阿里管控系统对外流量限流的令牌桶算法和对内流量塑形的漏桶机制.

3. QQ亿级日活跃业务后台核心技术揭秘

http://toutiao.com/a6285949633660125442/?tt_from=weixin&utm_campaign=client_share&app=news_article&utm_source=weixin&iid=4341776733&utm_medium=toutiao_ios&wxshare_count=1

要点: 本文介绍了腾讯社交业务群后台服务的高可用架构, 包括可用性度量, 系统设计优化, 柔性服务思维, 负载均衡等内容.

DevOps 技术

1. 公有云运维自动化：怎么让系统具备可部署性？

http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=207117804&idx=1&sn=76937cc2aec54811f5b47d65258257ea&scene=21#wechat_redirect

要点: 作者总结归纳了实现自动化部署的9个原则, 满足了这些原则, 你的服务就具备了自动化部署的能力了.

2. Docker与实现DevOps的三种方式

https://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=2651659718&idx=2&sn=518b4b1f5d4354586b82a8cb604c6dd0&scene=1&srcid=0520T5mATipwiSYGGg4sihAY&key=8d8120cb97983fadd9b6717e367de8acf5217e6433cf1a8b698b57902e22ac7833df8773e3cadcb96206601a3293770d&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=ZZJYB2J5cP8Xtr3T79Fp%2B47dkxAuUleGI3x7Lz2XBzJZ3jf3x2Npupnmq2OXp4OS

要点: 本文介绍了三种DevOps工作模型以及docker在这其中分别起了什么作用.

大杂烩

1. 业务和商业才是技术的驱动力

https://mp.weixin.qq.com/s?__biz=MzA4NTU2MTg3MQ==&mid=2655157524&idx=1&sn=e84587a502da2eacf1a700f41e9245bd&scene=1&srcid=0517KZGz4QHVqa1JrqYxGg6H&key=8d8120cb97983fad8788bbf86f8c05e0040f0010ed2fe0c8227e7a2f0170849d56608e55fb118a4956b16e3edab82af2&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=tBYarQ9VqljGZmM4yPhDBcPU6%2BMHdeeAETVZmAKI%2FjsDMjlcFu037quZaRbkJOTX

要点: 这篇文章虽然作者是从自己身为CTO的视角写的, 但是我觉得对于我们很多技术团队仍然适用, 特别是架构性和工程性的技术团队. 不管我们是一个公司还是一个团队, 我们的核心目标都是让我们的产品产生最大的商业价值, 再说的直白一点, 就是我们要解决阻碍产品或者业务产生商业价值的问题, 而不是为了技术而技术.

2. 最完整的存储系统接口/协议/连接方式总结

https://mp.weixin.qq.com/s?__biz=MzAwNzU3NzQ0MA==&mid=2652088130&idx=1&sn=854189525a6cdc769e112a99d131dede&scene=1&srcid=0519movYOI9b56erENv3uIrq&key=8d8120cb97983fad478fa332b3eea27d9712e4c11b5208bacfc3322c86af8bf9ae621ac22ec140fb96c9b5fd6f88b756&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=B3lgCfFJTd6S4B1bTtTj%2BalqY14nU9GjC%2BqwJWP1mASCsHhlhDE2L6ndCs0GOHgp

要点: 我们经常听到什么sata, ide, scsi, raid卡等名词, 但是从来没有见过具体设备的样子以及其中的含义, 这篇文章图文并茂的对这些知识做了一次科普, 感兴趣的同学可以看看.

 

转载于:https://www.cnblogs.com/zhengran/p/5514396.html