分词准确性对搜索引擎来说十分重要。即使准确性再高,但如果分词速度太慢。对于搜索引擎来说也是不可用的因为搜索引擎需要处置数以亿计的网页,如果分词耗用的时间过长,会严重影响搜索引擎内容更新的速度。因此对于搜索引擎来说,分词的准确性和速度,二者都需要达到很高的要求。目前研究中文分词的大多是科研院校,清华、北大、中科院、北京语言学院、东北大学、 IBM 研究院、 微软 中国研究院等都有自己的研究队伍,而真正专业研究中文分词的商业公司除了海量科技以外,几乎没有了科研院校研究的技术,大部分不能很快产品化,而一个专业公司的力量终究有限,看来中文 分词技术 要想更好的服务于更多的产品,还有很长一段路。
信息的飞速增长。 Googl 百度、中国搜索等大型搜索引擎一直是人们讨论的话题。随着搜索市场价值的不时增加,使搜索引擎成为人们查找信息的首选工具。越来越多的公司开发出自己的搜索引擎,阿里巴巴的商机搜索、 8848 购物搜索等也陆续面世,自然,搜索引擎技术也成为技术人员关注的热点。
搜索引擎技术的研究。从最早的 Archie 后来的 Excite 以及 altvista overtur google 等搜索引擎面世,国外比中国要早近十年。搜索引擎发展至今,已经有十几年的历史,而国内开始研究搜索引擎是上世纪末本世纪初。许多领域,都是国外的产品和技术一统天下,特别是当某种技术在国外研究多年而国内才开始的情况下。例如 操作系统 字处理软件、 浏览器 等等,但搜索引擎却是个例外。虽然在国外搜索引擎技术早就开始研究,但在国内还是陆续涌现出优秀的搜索引擎,像百度( http://www.baidu.com 中搜( http://www.zhongsou.com 等。目前在中文搜索引擎领域,国内的搜索引擎已经和国外的搜索引擎效果上相差不远。之所以能形成这样的局面,有一个重要的原因就在于中文和英文两种语言自身的书写方式不同,这其中对于计算机涉及的技术就是中文分词。
什么是中文分词
众所周知。而中文是以字为单位,英文是以词为单位的词和词之间是靠空格隔开。句子中所有的字连起来才能描述一个意思。例如,英文句子 I am a student 用中文则为:一个学生 ” 计算机可以很简单通过空格知道 student 一个单词,但是不能很容易明白 “ 学 ” 生 ” 两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词,就是中文分词,有些人也称为切词。一个学生,分词的结果是一个 学生。
中文分词和搜索引擎
中文分词到底对搜索引擎有多大影响?对于搜索引擎来说。因为在上百亿的网页中找到所有结果没有太多的意义,最重要的并不是找到所有结果。没