在搜索引擎技术中，中文分词对于影响搜索引擎结果排序有着至关重要的作用。我们在实际的搜索引擎优化中，为了避免很多主关键词的大量竞争，也会使用到中文分词技术来做SEO优化。举个简单的例子，假如我们需要优化一个内容是“轴承”的网页，那么想要这个关键词在搜索引擎中排名更好，那就是很难的一件事了。因为“轴承”这个关键词热度太高，所以想要通过SEO手段去将其优化到搜索结果的首页是一件非常难的事。在这个时候我们经常会使用长尾关键词去优化这样的高热度关键词，也就是说，我们经常会优化一些例如“北京轴承销售商”、“北京进口轴承”等这样的关键词。而想要把这样的关键词做到搜索结果的前列，对于中文分词技术的把握和对于关键词的布局，有很大的重要性。
中文分词在中国已经是有很久的历史了，明朝末年有一位画家叫做徐渭（文长），据说因为他家过于贫困，根本没有粮食可吃，因此只好跑到亲戚朋友家“蹭饭”。一次两次亲戚朋友不觉得什么，但是时间长了，就感觉很厌恶徐渭。终于有一天，亲戚忍无可忍，不顾外面下着春雨就想把徐渭赶出去，于是在墙上写了一行字，委婉的下了逐客令：
“下雨天留客天留人不留”
徐渭看到那行字以后，心里自然明白亲戚的意思。但是到了晚上亲戚回到家一看，徐渭居然又在饭桌前等候。主人很奇怪，就问徐渭：“你看到墙上的字了吗？”徐渭笑笑：“看到了，但是没想到你这么好客，既然这样，我也不客气了，就继续住下去吧！免得你自责招待不周。”说完，指指墙上的字，主人一看，差点气晕过去，原来，徐渭在这行字上加了几个标点符号，主人无奈，只好让徐渭继续留下。徐渭是这么写的：
“下雨天，留客天。留人不？留。”
中国的文字博大精深，不同的标点符号，不同的断句就代表着不同的意思。所以，曾经有一位Google的科学家说：“如果可以做好中文搜索引擎，那么我们就不怕任何语种的搜索引擎研究了。”
那么中文分词在搜索引擎优化中到底具有怎样的意义呢？分词对SEO的影响是多方面的，最重要的就是对长尾流量的影响。例如说我们常常见到很多很想做的长尾关键词，例如广州进口轴承销售，上海进口轴承销售等等，但我们通过前文对于SEO的了解可以知道，一个页面做关键词不要超过三个，因为超过三个就会分散了每个关键词的权重，反而一个都做不好。但如果我们想超过三个又不影响呢？那么我们这时候就需要利用中文分词来对关键词进行组合了，例如<title>进口轴承销售-上海-广州<title>。这样分出来的结果可能没有广州进口轴承销售或上海进口轴承销售的关键词来的直接，但用这样分词的办法却使到很多词都获得不错的效果。多个词排名在搜索引擎结果页的首位，总是要比一个关键词排名在第一位的覆盖面要广。久而久之，因为 广州+进口轴承销售、上海+进口轴承销售这些页面让搜索引擎知道你的页面和“进口轴承销售”这个关键词相关度很高，因此进口轴承销售这个主关键词的排名也会相对提高。
当然，我们上面举得例子是还没有完全对于关键词进行完全的拆分。下面我们就对中文分词做一个粗略的讨论。
最早的中文分词办法是由北京航天航空大学的梁南元教授提出的，一种基于“查字典”的分词办法。例如这个句子：“著名导演张艺谋说国庆节晚上将安排十万人到天安门联欢。”
用 “查字典” 的分词方法，我们要做的就是把整个句子读一遍，然后把字典里有的词都单独标示出来，当遇到复合词的时候（例如北京大学），就找到最长的词匹配。遇到不认识的字符串就分割成单个文字。根据这样的办法，我们以上的文字可以切分为：
“著名 | 导演 | 张艺谋 | 说 | 国庆节 | 晚上 | 将 | 安排 | 十万人 | 到 | 天安门 | 联欢”
这样的分词办法虽然说可以应付很多的句子，但是由于细分的太多，在真正搜索引擎使用的过程中，到底哪一个词才是重点就无法表述，从而搜索引擎搜索出的结果也不能达到最大的相关度。于是在80年代，哈尔滨工业大学计算机博士生导师王晓龙博士提出了“最少词数”的分词理论，即为，一句话应该是分词最少的字符串，这样会更多的让搜索引擎更明白这句话到底是什么意思。但是这样的办法虽然更好，新的问题却也显现了出来。例如，我们在做“二义性”关键词组的时候，就不能说最长的分割就是最好的结果。举个例子，“吉利大学城书店”这个关键词正确的分词应该是“吉利 | 大学城 | 书店”而不是词典中的“吉利大学 | 城 | 书店 ”
目前，主流的分词办法有两种，一种是基于统计模型的文字处理，另外一种是基于字符串匹配的逆向最大匹配法。
基于统计模型的文字处理
从形式上看，词是稳定的字的组合，因此在上下文中，相邻的字同时出现的次数越多，就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好的反映成词的可信度。可以对语料中相邻共现的各个字的组合的频度进行统计，计算它们的互现信息。定义两个字的互现信息，计算两个汉字X、Y的相邻共现概率。互现信息体现了汉字之间结合关系的紧密程度。当紧密程度高于某一个阈值时，便可认为此字组可能构成了一个词。这种方法只需对语料中的字组频度进行统计，不需要切分词典，因而又叫做无词典分词法或统计取词方法。但这种方法也有一定的局限性，会经常抽出一些共现频度高、但并不是词的常用字组，例如“这一”、“之一”、“有的”、“我的”、“许多的”等，并且对常用词的识别精度差，时空开销大。实际应用的统计分词系统都要使用一部基本的分词词典（常用词词典）进行串匹配分词，同时使用统计方法识别一些新的词，即将串频统计和串匹配结合起来，既发挥匹配分词切分速度快、效率高的特点，又利用了无词典分词结合上下文识别生词、自动消除歧义的优点。（上文引自SEO专家论坛）
基于统计模型的文字处理，因为技术性比较高，而且只是使用在搜索引擎分词算法的过程中，如果学会，对于SEO的帮助会更大，各位可以加入我的SEO培训班进行深入讨论。这里更多的说一下基于字符串匹配的逆向最大匹配法。
一般来说，我们在SEO中使用最多的分词办法就是基于字符串匹配的逆向最大匹配法。这个办法其实很简单。我们以一个简单的例子来说明。
“瑞星一直以质量和服务开拓安全市场”。
如果这个句子我们以“查字典”的办法正向切分的话，就会切分成下面的句子。
“瑞/星/一直/以/质量/和服/务/开拓/安全/市场”
我们可以看到，正向切分出现了一个重大的错误“和服”，而“和服”这个关键词是日本的传统服饰，和这句话的意思根本没有任何关系，如果真的这样去分词的话，那么在真正搜索引擎索引的过程中，我们搜索“和服”也会出现这样的错误结果。
因此我们开始做逆向最大匹配法。从这句话的后面往前读（从右向左）
“瑞/星/一直/以/质量/和/服务/开拓/安全/市场”。
这个分词办法才是正确的。
对于中文分词还有很多的讨论，下一节我们接着说。
相关阅读：
扫一扫
511
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
