分布式系统设计实践

 

 

                                                                 分布式系统设计实践

                                                                                    -----分布式任务执行系统设计

                                                                                                                                                     作者: 子游

                具体案例:   速强软件  邮件营销平台

 

 

背景介绍

 

    我公司的系统是面向全球的在线互动营销平台(以下称营销平台),系统平台主要包括智能邮件发送、在线调查数据提交、各种平台集成接入(CMS,CRM,ERP,B2C,B2B)。我们主要面向的客户是来自欧美和中国。

来自全球的客户平均每天通过营销平台发送大于1000万的邮件、导入1000万条以上联系人人信息,处理超过250万点击回馈,20GB图片下载,超过50万来自各种集成系统的数据提交。

基于上述需求,单机硬件的结构设计完全不能满足需求,而且对于一家面向服务的公司,这样也是极度不安全和稳定。

 

    而作为该平台的主要设计者之一,很荣幸的全程参与了这一项目的各模块的重要设计与研发工作。基于此,总结一下经验分享给大家,欢迎并且希望对大家提出批评和讨论。

 

分布式功能要求

 

    任务系统需要执行任务如下:

批量短信提交。

批量邮件推送。

批量导入联系人。

批量导出联系人。

处理邮件点击回馈。

处理邮件图片下载。

接受各种集成系统数据提交。

 

分布式性能要求

 

 

结构设计

   

    硬件信息

20 Web servers服务器

10Linux邮件点击收集,

3 Web applicationWindows server 2008服务器

10台邮件网关服务器

 

5台分布式缓存服务器

150以上台的图片存储服务器

100Mysql数据库服务器

 

面向层次型存储的底层框架

 

  

基于lucene的索引查询

 

 

分布式图片存储系统

 

   邮件大多数是由图片与文字制作而成,其中图片是主要内容之一,平均1封邮件64kb的图片。要求图片能满足迅速增长的存储空间和满足客户的邮件阅读,下载图片。这要求分布式图片存储系统必须具有以下功能:

扩展简单存储节点简单。

图片访问具有缓存功能。

宕机不影响用户访问。

支持最高峰值美妙2000次下载。

基于以上综合考虑,我公司最后选定MogileFS图片存储系统。它是开源的,基于Linux服务器的应用系统。

 下载地址如下:http://www.danga.com/mogilefs/

 

Web Servers

 

 

分布式缓存 (Memory cache)

 

   分布式缓存主要解决以下问题:

加快用户放过速度。

降低数据库查询访问的压力。

 

下载地址如下:http://memcached.org/

 

 

代码框架

 

   

 

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值