淘宝技术这十年-【读书笔记】:从简单购物体验看淘宝的架构技术

     网购已经成为人们日常生活中必不可少的一部分,当我们打开淘宝页面进行各自需求的购物时,作为技术人员,我们应该为淘宝这样的购物平台感到自豪,并对淘宝能够支撑如此高并发、高性能、高健壮、高可靠性才采用的技术而感到好奇,《淘宝技术这十年》这本书中第一部分,简述淘宝前些年的采用的主要技术,以及采用这些技术解决了哪些具体的业务问题。

    (1)解决网络访问问题:

         当我们访问淘宝页面时,网络服务器会把用户请求发送给CDN网络架构,CDN网络架构会根据用户请求,自动为用户路由到离用户最近的网络服务器,减少用户请求响应的路由路径,提升用户的请求的响应时间和购物体验。 淘宝在全国各地建立了数十个甚至上百个CDN节点,保证你访问的页面的相关资源(这里主要指JS、CSS、图片等)站点是离你最 近的CDN节点,这样便保证了大流量的分散已及在各地访问的加速。  

         CDN网络架构主要包括全局负载均衡交换机、本地负载均衡交换机、内容缓存设备、内容分发管理设置、内容管理系统。

         负载均衡方面,淘宝采用的技术是自身研发的LVS(Linux Virtual Server)系统,该系统自称为全世界最流行的负载均衡系统之一。

    (2)大量静态图片等静态资源的存取:

        淘宝网址有大量的图片文件,这些文件的总容量已经达到TB级别,为了使用户能够快速访问和保存相关的图片,淘宝技术平台开发TFS系统。

        TFS(Taobao !FileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储,通常文件大小不超过1M,满足了淘宝对小文件存储的需求,被广泛地应用在淘宝各项应用中。

   (3) 搜索功能:

       为了快速搜索用户输入的信息,淘宝技术平台引入了阿里巴巴的搜索引擎系统,较好地解决的搜索的业务需求。

   (4)防止抵赖的快照处理:

      为了防止商家对商品详情中承诺过的东西进行抵赖,淘宝对商品采用了快照的技术进行存取,但每年数十亿的商品进行快照存储并能够快速访问,淘宝公司开发了Tair框架。

     Tair是由淘宝网自主开发的Key/Value结构数据存储系统.它默认支持基于内存和文件的两种存储方式

  (5)日记信息的记录:

     淘宝用户的交易信息量是TB级别的,为了快速、及时、同步地传输这些日志数据,淘宝研发了TimeTunnel,用于进行实时的数据传输,然后交给后端系统进行计算报表等操作

  (6)数据存储:

      浏览数据、交易数据以及其他很多数据记录均会被保留下来,使得淘宝存储的历史数据轻而易举地便达到了数十甚至更多个PB。如此巨大的数据量存储在阿里巴巴集团的数据仓 库中,并且其中有些数据使用了压缩比高达1:120的极限存储技术。之后这些数据会通过一个叫做云梯的基于Hadoop的由3000多台服务器组成的超大规模数据系统,以及一个基于阿里巴巴集团自主研发的ODPS系统的数据系统,不断地进行分析和挖掘


  


  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值