我眼中的搜索引擎的不足及改进策略

大家每天都用SE，但是SE还有很多不算很到位的问题，大家来讨论一下吧。

 

1、去重做的很不好。

     比如检索[编译Android内核]这个主题，其实，一共很不同的结果只有2~3种（仅限前10页），但是检索出来的一大堆内容，很多都是重复的，只不过是不同人不同网站的相互转载而已，完全没有做到简化我们检索信息的目的，给我们很大的麻烦。

 

     我预想的解决办法：综合阅读的实现

 

     所谓综合阅读，就是在检索的过程中，SE根据检索词汇，自然地收集信息，然后汇集成一片新的文章，初期，这篇文章可能不是像人写的完整的文章，更像是百科一样的树状条目，而后期随着机器智能的提升，这篇文章可能会变成真正人写成的文章。但是这篇文章可怎么获得呢？我觉得针对个别关键词的聚类算法就应该很有效，之后通过权重文章的聚类数量和rank来综合成一篇新的文章。

 

2、词与词分立

     本来完整的一句话，在SE中检索，发现得到的结果其实是分词后检索的结果，很少可能有这句话本身。而我们在使用整句检索时，却是能检索出很多这句话的。我觉得，这个问题源自SE处理时对词与词之间理解，还是做得不够细致。

 

    我预想的解决办法：动态规划

 

    其实，我们要解决的问题和矩阵连乘很类似，都是有顺序的，比如"我是来自黑龙江的数字"，这句话的分词（包括停词）是（我，是，来自，黑龙江，的，数字）。好了，之后我们分别检索每个单个词的结果，之后在检索距离为2、3。。。k的整句结果，然后综合这些，k越大给的权重越大，这样我们就可以得到词与词的结合效果。更好的结果是，我们可以通过自然语言的形式分析，得到某些可以合为一类概率更大，从而调整权重！

 

暂时就写这么多吧，以后补充。