背景:
在存储用户素材文件时可能有一缩略图,
以每一个缩略图3K大小为例, 48X48象素。
测试目的: 到底是保存到文件系统中好,还是直接 保存 到数据库中好。
测试环境
OS: Win XPsp3, NTFS
DB: MySql5.0.22
APP: python2.54, django1.02
过程
1. 使用django创建 一个测试工程,两个数据表定义如下:
2.根据上面两个表,不停的创建数据。 -----图dfs.jpg
写了个脚本,运行了3个小时, 创建了20万条数据,。本来想生成 100万条的,但生成速度到后来在太慢了。
3.在MySql中执行查询:-----图select.jpg
速度接近十倍的差距。基本上得出测试结果:数据库不能存大数据(每条记录越小越好,1K以上估计就影响查询速度了)。
4.再写个脚本,测试把文件还原速度。( 主要测文件系统读文件速度)
结果,直接看----图get.jpg。
dbsys:主要是查询数据库慢,因为表内容太大。
fsys: 查询数据用大部分时间。读文件,再写文件,时间比较少。
测试目的: 到底是保存到文件系统中好,还是直接 保存 到数据库中好。
测试环境
OS: Win XPsp3, NTFS
DB: MySql5.0.22
APP: python2.54, django1.02
过程
1. 使用django创建 一个测试工程,两个数据表定义如下:
class dbsys(models.Model):
'''用户-素材关系表'''
fid = models.CharField(max_length = 128)
username = models.CharField(default =u'ddd', max_length = 80)
ftype = models.CharField(default =u'ftype' , max_length = 128)
fsize = models.IntegerField(default = 3124)
ftag = models.CharField(default =u'ftag_ddd', max_length = 128)
fdescript = models.CharField(default =u'fdescript__ddd', max_length = 128)
fparentid = models.CharField(max_length = 80, default = '3')
fhidden = models.BooleanField(default = False) # 是否对用户隐藏,隐藏表示在回收站
fcreated = models.DateTimeField(default = datetime.now())
fusetimes = models.IntegerField(default = 0)
flastused = models.DateTimeField(default = datetime.now())
fthumb = models.TextField() # 直接保存缩略图数据 ,主要测试这里
class fsys(models.Model):
'''用户-素材关系表'''
fid = models.CharField(max_length = 128)
username = models.CharField(default =u'ddd', max_length = 80)
ftype = models.CharField(default =u'ftype' , max_length = 128)
fsize = models.IntegerField(default = 3124)
ftag = models.CharField(default =u'ftag_ddd', max_length = 128)
fdescript = models.CharField(default =u'fdescript__ddd', max_length = 128)
fparentid = models.CharField(max_length = 80, default = '3')
fhidden = models.BooleanField(default = False) # 是否对用户隐藏,隐藏表示在回收站
fcreated = models.DateTimeField(default = datetime.now())
fusetimes = models.IntegerField(default = 0)
path = models.TextField(default ='ddd') # 只保存路径 ,缩略图写到文件系统中,主要测试这里
'''用户-素材关系表'''
fid = models.CharField(max_length = 128)
username = models.CharField(default =u'ddd', max_length = 80)
ftype = models.CharField(default =u'ftype' , max_length = 128)
fsize = models.IntegerField(default = 3124)
ftag = models.CharField(default =u'ftag_ddd', max_length = 128)
fdescript = models.CharField(default =u'fdescript__ddd', max_length = 128)
fparentid = models.CharField(max_length = 80, default = '3')
fhidden = models.BooleanField(default = False) # 是否对用户隐藏,隐藏表示在回收站
fcreated = models.DateTimeField(default = datetime.now())
fusetimes = models.IntegerField(default = 0)
flastused = models.DateTimeField(default = datetime.now())
fthumb = models.TextField() # 直接保存缩略图数据 ,主要测试这里
class fsys(models.Model):
'''用户-素材关系表'''
fid = models.CharField(max_length = 128)
username = models.CharField(default =u'ddd', max_length = 80)
ftype = models.CharField(default =u'ftype' , max_length = 128)
fsize = models.IntegerField(default = 3124)
ftag = models.CharField(default =u'ftag_ddd', max_length = 128)
fdescript = models.CharField(default =u'fdescript__ddd', max_length = 128)
fparentid = models.CharField(max_length = 80, default = '3')
fhidden = models.BooleanField(default = False) # 是否对用户隐藏,隐藏表示在回收站
fcreated = models.DateTimeField(default = datetime.now())
fusetimes = models.IntegerField(default = 0)
path = models.TextField(default ='ddd') # 只保存路径 ,缩略图写到文件系统中,主要测试这里
2.根据上面两个表,不停的创建数据。 -----图dfs.jpg
写了个脚本,运行了3个小时, 创建了20万条数据,。本来想生成 100万条的,但生成速度到后来在太慢了。
3.在MySql中执行查询:-----图select.jpg
第一个表(dbsys直接存数据 ),
用时16.51秒。
第二个表(fsys只存路径),
用时1.67秒。
速度接近十倍的差距。基本上得出测试结果:数据库不能存大数据(每条记录越小越好,1K以上估计就影响查询速度了)。
4.再写个脚本,测试把文件还原速度。( 主要测文件系统读文件速度)
结果,直接看----图get.jpg。
dbsys:主要是查询数据库慢,因为表内容太大。
fsys: 查询数据用大部分时间。读文件,再写文件,时间比较少。