2011架构师大会心得

2011架构师大会心得

分类： 架构 2011-09-26 11:47 702人阅读 评论(5) 收藏 举报

1、架构应该是对开发者是透明的
2、在架构中，存储是难度最大的
3、百度贴吧是如何测试的，采用轻量型解决方案，支持开发者快速
4、视频存储非常适合key-value形式
5、运维自动化，不需要改每台服务器的设置
6、增加流量能力的，可以利用多网卡
7、有些领域的流量会突发增加10倍，甚至更多，这时候需要考虑加锁来缓冲一下，防止cache实效，都去访问后台db
8、淘宝，一致性都是最终一致性
9、水平架构，加机器即可
10、Hbase类似于svn，有版本控制
11、Hbase类似于Membase
12、Membase集中了Hbase和cassendra的优点
13、cassendra vs    Hbase
    从零开发，      要求数据一致性，不过没有事务的概念，每一行是具备的
    快速开发
    快速部署
    简单的安全认证
14、百度自动化运维
         任务调度，数据传输，资源定位，百度消除了crontab，统一管理
15、cdn可以做域名解析
16、lvs中的DR类似于路由，需要明白lvs的代码和原理，特别是ip隧道，ip包是如何返回lvs机器的？
        In LVS-NAT, the default gateway for the real server is normally an IP address on the Director (the DIP),
        so the reply packet is routed through the director.
        ip隧道不走director
17、MongoDB
    类sql，B树索引，内存消耗很大，很费内存，没有join操作，保证一段时间后数据一致性
    面向文档的存储，放弃事务，json document，如果schema很乱的话，索引会实效
    商业公司维护
18、tcp优化
    减少数据过度重发，也是优化
19、DNS，也是采用了负载均衡，有的也采用了memcached
20、DNS有可能返回给电信用户的地址是网通用户的，多加一层就可以解决此问题

21、iptables，对各个协议作统计
22、ippip按包处理
23、DPI，DeepPacketInspection
24、lvs，x86，无法利用多核优势，性能差
25、内核开发，调试非常困难，需要看寄存器，汇编代码， 如果不能重现，几乎找不到解决方案
26、服务器优化技术
      tcp连接复用
      http内存缓存
      智能DNS
      tcp 单边加速，正常网络，0.1%丢包率，只重传丢的包，会加速
      
27、网络拥塞是无法避免的，可以做协议栈的定制优化，在无线环境下，丢包并不一定是拥塞，网络会抖动
28、虚拟ip只能是同网段

29、局部输出缓存，nginx ESI module

30、明年我也有能力上去讲

分享到：

• 上一篇：nginx hmux模块开源了
• 下一篇：如何利用tcpcopy来试验nginx hmux模块