网页搜索大致过程:
1)利用蜘蛛从website获取页面;
2)将获得的页面实现本地存储;
3)分词;
4)建立索引:根据一定的相关度算法进行计算建立网页索引数据库;
5)建立二次索引:把搜集的网页去标签处理,就是删除<xxx></xxx>,然后用全文索引对每个关键字搜索一遍,对搜索结果根据“搜索算法”进行权重计算并保存,以后的搜索就按这个权重进行排序;
6)建立索引服务器网络;
7)前台程序扫描索引服务器;
http://hi.baidu.com/lxsbupt/blog/category/%CA%FD%BE%DD%BD%E1%B9%B9%BA%CD%CB%E3%B7%A8/index/1