海量小文件存储测试---存文件系统还是存数据库好?

 背景:
        在存储用户素材文件时可能有一缩略图,

        以每一个缩略图3K大小为例, 48X48象素。

        测试目的: 到底是保存到文件系统中好,还是直接 保存 到数据库中好。



测试环境

  OS:   Win XPsp3, NTFS
       DB:   MySql5.0.22
       APP: python2.54,  django1.02



过程
      1. 使用django创建 一个测试工程,两个数据表定义如下:

class dbsys(models.Model):
    '''用户-素材关系表'''
    fid = models.CharField(max_length = 128)
    username = models.CharField(default =u'ddd', max_length = 80) 
    ftype = models.CharField(default =u'ftype' , max_length = 128)
    fsize = models.IntegerField(default = 3124)
    ftag = models.CharField(default =u'ftag_ddd', max_length = 128)
    fdescript = models.CharField(default =u'fdescript__ddd', max_length = 128)
    fparentid = models.CharField(max_length = 80, default = '3') 
    fhidden =  models.BooleanField(default = False) # 是否对用户隐藏,隐藏表示在回收站
    fcreated = models.DateTimeField(default = datetime.now())
    fusetimes = models.IntegerField(default = 0)
    flastused = models.DateTimeField(default = datetime.now())

    fthumb = models.TextField() # 直接保存缩略图数据 ,主要测试这里


class fsys(models.Model):
    '''用户-素材关系表'''
    fid = models.CharField(max_length = 128)
    username = models.CharField(default =u'ddd', max_length = 80) 
    ftype = models.CharField(default =u'ftype' , max_length = 128)
    fsize = models.IntegerField(default = 3124)
    ftag = models.CharField(default =u'ftag_ddd', max_length = 128)
    fdescript = models.CharField(default =u'fdescript__ddd', max_length = 128)
    fparentid = models.CharField(max_length = 80, default = '3') 
    fhidden =  models.BooleanField(default = False) # 是否对用户隐藏,隐藏表示在回收站
    fcreated = models.DateTimeField(default = datetime.now())
    fusetimes = models.IntegerField(default = 0)
   
    path = models.TextField(default ='ddd') # 只保存路径 ,缩略图写到文件系统中,主要测试这里

   2.根据上面两个表,不停的创建数据。 -----图dfs.jpg
      写了个脚本,运行了3个小时, 创建了20万条数据,。本来想生成 100万条的,但生成速度到后来在太慢了。
  
   3.在MySql中执行查询:-----图select.jpg
第一个表(dbsys直接存数据 ), 用时16.51秒
          第二个表(fsys只存路径), 用时1.67秒。
          速度接近十倍的差距。基本上得出测试结果:数据库不能存大数据(每条记录越小越好,1K以上估计就影响查询速度了)。

    4.再写个脚本,测试把文件还原速度。( 主要测文件系统读文件速度)
        结果,直接看----图get.jpg
        dbsys:主要是查询数据库慢,因为表内容太大。
        fsys:     查询数据用大部分时间。读文件,再写文件,时间比较少。
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值