电子商务网站的分词与索引

简单调研了下，京东，淘宝，拍拍都是单字索引，当当，卓越等都是基于分词的索引。

使用什么粒度的索引没有对错，只是各种因素权衡后的一个结果。

单字索引的缺点在于，索引量会大很多，性能也会下降，对于相关性排序的要求也高，会召回大量不相关的商品。优点就是召回率，能够召回的商品都不会遗漏。

基于分词的索引对于分词技术要求比较高，缺点就是很有可能不能召回商品，比如你搜“表”，手表就不能出来，因为“手表”作为了一个独立的词进入了索引。优点就是索引量小，召回的商品一般都是有效的，对排序要求相对低一点。

如果分词的技术很成熟了，使用基于分词的索引相对较好点。但为什么还是会有这么多电子商务网站，使用单子索引呢？我猜想的原因有：1）只有标题进入索引，所以整体的索引量不大。一般看到全文索引的邀请，都不是基于单字索引的。2）商品的召回对于网站的可用性很重要，所以把召回放到了第一。3）有些网站的分词技术可能不成熟，所以只能使用单字索引。