读写txt文件与读写数据库哪个更快?解决办法
今天 突然遇到这个问题,在网上找了很久才找到的一篇文章,所以转来了,其实这个问题开始是有些模糊,但仔细想一下还是能猜出一个大概,所以有时候,人的意识可能也很作用!
读文件更快还是读数据库更快,能快多少,也搜索过,没见有网友就这个问题答复过,也可能是太简单的缘故,我们本文还是来实测一下,由于时间关系,VC还没装,天缘先用PHP测试了一下,下次有时间在C/C++上补充测试到本文来,因为PHP的底层解析应该也是基于C的,所以估计两者环境测试结果差不多,小问题大收获,现在就来看一下测试过程及结果。
测试程序如下:
//说明1:由于读数据库语句调用简单的封包函数两次,所以把读文件也改成连续调用两次,数据库记录ID为1就在第一条,并且唯一索引。
//说明2:测试两次一次是4K数据,一次是整形数据
set_time_limit(0);
function fnGet($filename)
{
c
o
n
t
e
n
t
=
f
i
l
e
g
e
t
c
o
n
t
e
n
t
s
(
content = file_get_contents(
content=filegetcontents(filename);
return $content;
}
function fnGetContent($filename)
{
c
o
n
t
e
n
t
=
f
n
G
e
t
(
content = fnGet(
content=fnGet(filename);
return $content;
}
$times=100000;
echo ‘数据库查询结果:
’;
//---------------------------------
b
e
g
i
n
=
f
n
G
e
t
M
i
c
r
o
T
i
m
e
(
)
;
f
o
r
(
begin=fnGetMicroTime(); for(
begin=fnGetMicroTime();for(i=0;
i
<
i<
i<times;$i++)
{
r
e
s
=
res=
res=dbcon->mydb_query(“SELECT log_Content FROM blog WHERE log_ID=‘1’”);
r
o
w
=
row=
row=dbcon->mydb_fetch_row($res);
c
o
n
t
e
n
t
=
content=
content=row[0];
}
echo 'fetch_row '.
t
i
m
e
s
.
′
次
时
间
:
<
f
o
n
t
c
o
l
o
r
=
r
e
d
>
′
.
(
f
n
G
e
t
M
i
c
r
o
T
i
m
e
(
)
−
times.' 次时间:<font color=red>'.(fnGetMicroTime()-
times.′次时间:<fontcolor=red>′.(fnGetMicroTime()−begin).‘秒
’;
//---------------------------------
b
e
g
i
n
=
f
n
G
e
t
M
i
c
r
o
T
i
m
e
(
)
;
f
o
r
(
begin=fnGetMicroTime(); for(
begin=fnGetMicroTime();for(i=0;
i
<
i<
i<times;$i++)
{
r
e
s
=
res=
res=dbcon->mydb_query(“SELECT log_Content FROM blog WHERE log_ID=‘1’”);
r
o
w
=
row=
row=dbcon->mydb_fetch_array($res);
c
o
n
t
e
n
t
=
content=
content=row[‘log_Content’];
}
echo 'fetch_array '.
t
i
m
e
s
.
′
次
时
间
:
<
f
o
n
t
c
o
l
o
r
=
r
e
d
>
′
.
(
f
n
G
e
t
M
i
c
r
o
T
i
m
e
(
)
−
times.' 次时间:<font color=red>'.(fnGetMicroTime()-
times.′次时间:<fontcolor=red>′.(fnGetMicroTime()−begin).‘秒
’;
//---------------------------------
b
e
g
i
n
=
f
n
G
e
t
M
i
c
r
o
T
i
m
e
(
)
;
f
o
r
(
begin=fnGetMicroTime(); for(
begin=fnGetMicroTime();for(i=0;
i
<
i<
i<times;$i++)
{
r
e
s
=
res=
res=dbcon->mydb_query(“SELECT log_Content FROM blog WHERE log_ID=‘1’”);
r
o
w
=
row=
row=dbcon->mydb_fetch_object($res);
c
o
n
t
e
n
t
=
content=
content=row->log_Content;
}
echo 'fetch_object '.
t
i
m
e
s
.
′
次
时
间
:
<
f
o
n
t
c
o
l
o
r
=
r
e
d
>
′
.
(
f
n
G
e
t
M
i
c
r
o
T
i
m
e
(
)
−
times.' 次时间:<font color=red>'.(fnGetMicroTime()-
times.′次时间:<fontcolor=red>′.(fnGetMicroTime()−begin).‘秒
’;
//---------------------------------
$dbcon->mydb_free_results();
$dbcon->mydb_disconnect();
fnWriteCache(‘test.txt’,$content);
echo ‘直接读文件测试结果:
’;
//---------------------------------
b
e
g
i
n
=
f
n
G
e
t
M
i
c
r
o
T
i
m
e
(
)
;
f
o
r
(
begin=fnGetMicroTime(); for(
begin=fnGetMicroTime();for(i=0;
i
<
i<
i<times;$i++)
{
KaTeX parse error: Expected 'EOF', got '}' at position 37: …t('test.txt'); }̲ echo 'file_get…times.‘次时间:’.(fnGetMicroTime()-$begin).‘秒
’;
//---------------------------------
b
e
g
i
n
=
f
n
G
e
t
M
i
c
r
o
T
i
m
e
(
)
;
f
o
r
(
begin=fnGetMicroTime(); for(
begin=fnGetMicroTime();for(i=0;
i
<
i<
i<times;$i++)
{
f
n
a
m
e
=
′
t
e
s
t
.
t
x
t
′
;
i
f
(
f
i
l
e
e
x
i
s
t
s
(
fname = 'test.txt'; if(file_exists(
fname=′test.txt′;if(fileexists(fname))
{
f
p
=
f
o
p
e
n
(
fp=fopen(
fp=fopen(fname,“r”);//flock($fp,LOCK_EX);
f
i
l
e
d
a
t
a
=
f
r
e
a
d
(
file_data=fread(
filedata=fread(fp, filesize(
f
n
a
m
e
)
)
;
/
/
r
e
w
i
n
d
(
fname));//rewind(
fname));//rewind(fp);
fclose($fp);
}
KaTeX parse error: Expected 'EOF', got '}' at position 37: …t('test.txt'); }̲ echo 'fope…times.‘次时间:’.(fnGetMicroTime()-$begin).‘秒
’;
4K大小数据的查询结果:
fetch_row 100000 次时间:16.737720012665秒
fetch_array 100000 次时间:16.661195993423秒
fetch_object 100000 次时间:16.775065898895秒
直接读文件测试结果:
file_get_contents直接读100000次时间:5.4631857872009秒
fopen直接读100000次时间:11.463611125946秒
整形ID查询结果:
fetch_row 100000 次时间:12.812072038651秒
fetch_array 100000 次时间:12.667390108109秒
fetch_object 100000 次时间:12.988099098206秒
直接读文件测试结果:
file_get_contents直接读100000次时间:5.6616430282593秒
fopen直接读100000次时间:11.542816877365秒
测试结论:
1、直接读文件相比数据库查询效率更胜一筹,而且文中还没算上连接和断开的时间。
2、一次读取的内容越大,直接读文件的优势会越明显(读文件时间都是小幅增长,这跟文件存储的连续性和簇大小等有关系),这个结果恰恰跟天缘预料的相反,说明MYSQL对更大文件读取可能又附加了某些操作(两次时间增长了近30%),如果只是单纯的赋值转换应该是差异偏小才对。
3、写文件和INSERT几乎不用测试就可以推测出,数据库效率只会更差。
4、很小的配置文件如果不需要使用到数据库特性,更加适合放到独立文件里存取,无需单独创建数据表或记录,很大的文件比如图片、音乐等采用文件存储更为方便,只把路径或缩略图等索引信息放到数据库里更合理一些。
5、PHP上如果只是读文件,file_get_contents比fopen、fclose更有效率,不包括判断存在这个函数时间会少3秒左右。
6、fetch_row和fetch_object应该是从fetch_array转换而来的,天缘没看过PHP的源码,单从执行上就可以说明fetch_array效率更高,这跟网上的说法似乎相反。
实际上在做这个试验之前,从个人经验判断就有了大概的结果,测试完成后则有种豁然开朗的感觉。假定在程序效率和关键过程相当且不计入缓存等措施的条件下,读写任何类型的数据都没有直接操作文件来的快,不论MSYQL过程如何,最后都要到磁盘上去读这个“文件”(记录存储区等效),所以当然这一切的前提是只读内容,无关任何排序或查找操作。