heiyeluren的blog(黑夜路人的开源世界)

关注LAMP,Web开发,OpenSource,系统架构

谢华亮ID:heiyeshuwu
845948次访问,排名39好友51人,关注者73
既然决定远行,便只顾风雨兼程。
[加为好友] [即时聊天] [发私信]
heiyeshuwu的文章
原创 279 篇
翻译 3 篇
转载 201 篇
评论 526 篇
heiyeluren的公告

联系方式:


访问统计: free hit counter code
FeedSky订阅:
FeedSky订阅
最近评论
ff:dferer
电子商务:关注下。。。虽然我不懂
bluecll:写的挺好,受益了
ylcz:强大!
j.L:我又来了

三、build非常耗时

那是做索引


"html页面数共74,329M,约74G "和“本次搜索关键词是“yahoo ncp”,在251万个文档中命中6个,耗时663毫秒 ”

到底索引了多少啊,从你信息来看应该是2.51m docs,全文检索的doc相当于数据库一条记录,在这里应该是一……
文章分类
收藏
    相册
    技术图片
    搜索引擎
    ::eYou::
    kevin world
    lewis - 老吕
    qyb - BT的花
    Realzay的blog
    叶金荣
    天堂地狱鬼-dulao5's Blog
    沙漠之周
    狐狸糊涂
    老韩
    與子觀化
    ::Yahoo::
    glemir’s blog
    happy_fish - 分布式文件系统FastDFS
    Rainx
    stauren
    互联网,请记住我 - 162同学的技术博客
    小蚂蚁同学滴测试博客
    张彪同学
    随网之舞 - kaven的DHTML博客
    ::朋友::
    【推荐】中文分类网
    DDR的博客
    kevin world
    miky
    俺兄弟的blog
    冰河的技术博客:心随风动
    好旅网
    小少的技术博客
    无尘居
    晋陵路人的Blog
    李天华同学滴技术博客
    沙狐部落
    ::网友::
    Code & Stock.
    LionD8的Blog
    Phzzy
    张贺同学的博客
    技术大牛老余的博客
    抚琴居
    程序人生
    邢红瑞的blog
    阿健的博客
    :PHP博客:
    .: Easy style :.
    [琴剑楼]
    CoolCode.cn
    Haohappy的Blog
    Hightman
    iwind的blog
    Javascript开发站
    JD Space
    Nio's Weblog
    Open Source PHP
    PHP面对对象
    SourceForge.net
    trip的专栏
    UGIA.cn
    windix's blog
    Windix's Weblog
    一个藏袍
    俊麟 Michael`s blog
    偶然的blog
    刘敏的blog
    大龄青年的Blog
    廖宇雷的blog
    懒猫开始新生活blog
    某人的栖息地
    王春生的博客
    神仙
    :牛人blog:
    DBA notes
    http://blog.csdn.net/tingya/
    侯捷网站
    孟岩
    搜索引擎研究
    方舟
    王咏刚的BLOG
    竹笋炒肉
    荣耀
    车东[Blog^2]
    透明思考
    陈硕的Blog
    DHTML
    DHTMLGoodies
    FCKEditor
    Google Code
    Google Web Toolkit
    HTML Goodies
    HTML.it
    HTMLAre
    HTMLdog
    JavaScript Kit
    jQuery
    KindEditor
    Prototype
    TinyMCE
    W3 Schools
    Yahoo JavaScript Developer Center
    Yahoo! Developer Network
    Yahoo! UI Library (YUI)
    网页设计师Web标准
    Java国内站
    ChinaJavaWorld.com技术论坛
    IBM developerWorks 中国: Java
    Java中文站
    Java开源大全
    Java爱好者
    JR - Java翻译站
    J道-JDON
    Matrix: 与Java共舞
    中国Java开发网
    中文java技术网
    PHP国内站点
    CSDN PHP论坛
    Discuz!
    FleaPHP
    Google--PHP用户组
    IBM DeveloperWorks
    JavsScript技术讨论
    Nirvana Studio
    OpenPHP.cn
    PHPChina
    TiM Club
    中文 PFC 1.0 手册--PHP5的开发包
    中文 PFC 1.0 手册--PHP5的开发包
    中文PHP网
    太平洋--PHP开发区
    爱MySQL
    超越PHP
    PHP国外站点
    ADOdb
    Agavi Framework
    Cake PHP
    MySQL Performance Blog
    MySQL Performance Blog
    Nonaweb
    PEAR
    PECL
    PECL Windows
    PHP Builder
    PHP Classes
    PHP Classes
    PHP New Download
    PHP Security Consortium
    php.MVC
    php.MVC
    PHPkitchen(OO & MVC)
    phpPatterns
    PHP国外图书下载
    smart template
    Smarty
    SourceForge.net
    Symfony Framework
    Zend
    Zend Framework
    Unix C/C++
    Free Gentux
    周立发的blog(Linux C)
    Unix/Linux
    BSD智库
    ChinaUnix
    FreeBSDChina
    FreeLAMP
    IBM开发者Linux专区
    Linux Byte
    LinuxKit
    LinuxTS
    Linux伊甸园
    Linux技术中坚站
    Linux非常空间
    Love Unix
    NetBSD&OpenBSD中文用户组
    NetBSD中国社区
    Oracle中国用户讨论组
    OurLinux
    Unix中文
    Unix中文
    Unix中文宝库
    中国Linux公社
    中国Unix用户技术论坛
    中文FreeBSD用户组
    永远的Unix
    炎黄角马
    程序设计
    CSDN
    IBM开发者中心
    Microsoft TechNet: 主页
    MSDN 中文网站
    PHP中文站
    Sun技术社区
    中国IT认证实验室--企业应用技术
    中国协议分析网
    喜悦国际村
    太平洋电脑网---开发特区
    实用网站
    veBook(国外大量免费图书下载网站)
    Whois.net
    中国Web信息博物馆
    中国互联网络信息中心whois查询
    服务器系统信息查看
    网络安全
    AnySide.com
    CGI Secutiry
    K-OTik Security Monitoring
    Linux Security
    Packet Storm Security
    PHP Secure
    RFC中文文档索引
    Safemode.org
    SecuriTeam.com
    Security Corporation
    SecurityFocus
    SecurityTracker
    Zone-h (区域黑客,每天公布各国被黑的网站)
    中华安全网
    中国信息安全组织
    国家计算机网络应急处理中心
    安全天使
    安全焦点
    幻影旅团
    绿盟科技
    网络安全评估中心(cnns )
    在线手册
    Apache2.0中文文档
    Beyond Linux From Scratch
    Debian参考手册
    FreeBSD Porter 手册
    FreeBSD使用手册
    Linux C函数中文参考手册
    MySQL 4.1.0 中文参考手册
    NetBSD在线手册
    OpenBSD在线FAQ
    PHP ADODB 1.99版手册中文翻译(Tripc)
    PHP中文手册(国内)
    PHP中文手册(国外)
    PostgreSQL中文文档
    Red Hat Linux 9入门指南
    Red Hat Linux 9安装指南
    Red Hat Linux 9定制手册
    中国OSS技术手册中心
    技术文档手册中心-ChinaUnix
    存档
    订阅我的博客
    XML聚合  FeedSky
    订阅到鲜果
    订阅到Google
    订阅到抓虾
    订阅到BlogLines
    订阅到Yahoo
    订阅到GouGou
    订阅到飞鸽
    订阅到Rojo
    订阅到newsgator
    订阅到netvibes

    原创 MySQL中MyISAM引擎与InnoDB引擎性能简单测试收藏

    新一篇: 两个简单的画验证码图形程序 | 旧一篇: [原创] Tips: 两种目录遍历的方法


    MySQL中MyISAM引擎与InnoDB引擎性能简单测试


    [硬件配置]
    CPU : AMD2500+ (1.8G)
    内存: 1G/现代
    硬盘: 80G/IDE

    [软件配置]
    OS : Windows XP SP2
    SE : PHP5.2.1
    DB : MySQL5.0.37
    Web: IIS6


    [MySQL表结构]

    CREATE TABLE `myisam` (
      `id` 
    int(11NOT NULL auto_increment,
      `name` 
    varchar(100default NULL,
      `content` 
    text,
      
    PRIMARY KEY  (`id`)
    ) ENGINE
    =MyISAM DEFAULT CHARSET=gbk;

    CREATE TABLE `innodb` (
      `id` 
    int(11NOT NULL auto_increment,
      `name` 
    varchar(100default NULL,
      `content` 
    text,
      
    PRIMARY KEY  (`id`)
    ) ENGINE
    =InnoDB DEFAULT CHARSET=gbk;


    [数据内容]

    $name = "heiyeluren";
    $content = "MySQL支持数个存储引擎作为对不同表的类型的处理器。MySQL存储引擎包括处理事务安全表的引擎和处理非事务安全表的引擎:· MyISAM管理非事务表。它提供高速存储和检索,以及全文搜索能力。MyISAM在所有MySQL配置里被支持,它是默认的存储引擎,除非你配置MySQL默认使用另外一个引擎。 ·MEMORY存储引擎提供“内存中”表。MERGE存储引擎允许集合将被处理同样的MyISAM表作为一个单独的表。就像MyISAM一样,MEMORY和MERGE存储引擎处理非事务表,这两个引擎也都被默认包含在MySQL中。 释:MEMORY存储引擎正式地被确定为HEAP引擎。· InnoDB和BDB存储引擎提供事务安全表。BDB被包含在为支持它的操作系统发布的MySQL-Max二进制分发版里。InnoDB也默认被包括在所有MySQL 5.1二进制分发版里,你可以按照喜好通过配置MySQL来允许或禁止任一引擎。·EXAMPLE存储引擎是一个“存根”引擎,它不做什么。你可以用这个引擎创建表,但没有数据被存储于其中或从其中检索。这个引擎的目的是服务,在MySQL源代码中的一个例子,它演示说明如何开始编写新存储引擎。同样,它的主要兴趣是对开发者。";


    [插入数据-1] (innodb_flush_log_at_trx_commit=1)
    MyISAM 1W:3/s
    InnoDB 1W:219/s

    MyISAM 10W:29/s
    InnoDB 10W:2092/s

    MyISAM 100W:287/s
    InnoDB 100W:没敢测试

    [插入数据-2] (innodb_flush_log_at_trx_commit=0)
    MyISAM 1W:3/s
    InnoDB 1W:3/s

    MyISAM 10W:30/s
    InnoDB 10W:29/s

    MyISAM 100W:273/s
    InnoDB 100W:423/s

    [插入数据3] (innodb_buffer_pool_size=1024M)
    InnoDB 1W:3/s
    InnoDB 10W:33/s
    InnoDB 100W:607/s

    [插入数据4] (innodb_buffer_pool_size=256M, innodb_flush_log_at_trx_commit=1, set autocommit=0)

    InnoDB 1W:3/s
    InnoDB 10W:26/s
    InnoDB 100W:379/s



    [MySQL 配置文件] (缺省配置)

    # MySQL Server Instance Configuration File
    [client]
    port
    =3306

    [mysql]
    default-character-set
    =gbk

    [mysqld]
    port
    =3306
    basedir
    ="C:/mysql50/"
    datadir
    ="C:/mysql50/Data/"
    default-character-set
    =gbk
    default-storage-engine
    =INNODB
    sql-mode
    ="STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION"
    max_connections
    =100

    query_cache_size
    =0
    table_cache
    =256
    tmp_table_size
    =50M
    thread_cache_size
    =8
    myisam_max_sort_file_size
    =100G
    myisam_max_extra_sort_file_size
    =100G
    myisam_sort_buffer_size
    =100M
    key_buffer_size
    =82M
    read_buffer_size
    =64K
    read_rnd_buffer_size
    =256K
    sort_buffer_size
    =256K

    innodb_additional_mem_pool_size
    =4M
    innodb_flush_log_at_trx_commit
    =1
    innodb_log_buffer_size
    =2M
    innodb_buffer_pool_size
    =159M
    innodb_log_file_size
    =80M
    innodb_thread_concurrency
    =8




    【总结】

    可以看出在MySQL 5.0里面,MyISAM和InnoDB存储引擎性能差别并不是很大,针对InnoDB来说,影响性能的主要是 innodb_flush_log_at_trx_commit 这个选项,如果设置为1的话,那么每次插入数据的时候都会自动提交,导致性能急剧下降,应该是跟刷新日志有关系,设置为0效率能够看到明显提升,当然,同样你可以SQL中提交“SET AUTOCOMMIT = 0”来设置达到好的性能。另外,还听说通过设置innodb_buffer_pool_size能够提升InnoDB的性能,但是我测试发现没有特别明显的提升。

    基本上我们可以考虑使用InnoDB来替代我们的MyISAM引擎了,因为InnoDB自身很多良好的特点,比如事务支持、存储过程、视图、行级锁定等等,在并发很多的情况下,相信InnoDB的表现肯定要比MyISAM强很多,当然,相应的在my.cnf中的配置也是比较关键的,良好的配置,能够有效的加速你的应用。

    如果不是很复杂的Web应用,非关键应用,还是可以继续考虑MyISAM的,这个具体情况可以自己斟酌。


    参考URL:
    http://dev.mysql.com/doc/refman/5.1/zh/index.html
    http://dev.mysql.com/doc/refman/5.1/zh/storage-engines.html#innodb

     

    发表于 @ 2007年04月10日 21:00:00|评论(loading...)|收藏

    新一篇: 两个简单的画验证码图形程序 | 旧一篇: [原创] Tips: 两种目录遍历的方法

    评论

    #tmpfree 发表于2007-04-11 13:25:39  IP: 59.41.44.*
    1W:3/s 是什么意思?
    1W条记录3s完成插入?
    使用bulk insert还是单条,innodb有没有事务?

    我这里也有部分测试
    http://hi.baidu.com/jabber/blog/category/Mysql
    #Phzzy 发表于2007-04-11 17:05:03  IP: 221.219.114.*
    innodb_flush_log_at_trx_commit
    不用事务这个有影响吗?
    #erhoudaren 发表于2007-04-11 18:43:32  IP: 202.118.2.*
    看来是相当的复杂了

    过些时候在仔细研究吧
    #yeka 发表于2007-04-18 23:23:07  IP: 58.49.248.*
    这位专家,若有写作计划,或者您的朋友也有写作计划,请联系博文视点。

    博文视点在线投稿网页:
    http://bv.csdn.net/
    上面有“作译者指南”和“出版流程”,还有详细的作译者常见问题解答集萃。

    也可以直接与我联系:
    MSN: yeka52@hotmail.com
    Blog: http://blog.csdn.net/yeka
    发表评论  


    登录
    Csdn Blog version 3.1a
    Copyright © heiyeluren