Sphider爬虫汉化

      想学习数据库已经很久了，想的同时我也在学习，但是没有实际的数据辅助，所以一直没有动力。2009年的11月30，正在网上瞎逛，想想这么多的网页和网址，我要是把这些数据提取出来，并加以分析，不是就有学习的资料了吗。说干就干，开始，上网搜了开源的搜索引擎，找了很久，网上介绍有很多，baidu，google一下很多的，这里就不介绍了。

      最后选了个php搜索引擎-Sphider，spider蜘蛛爬虫，spider在互联网爬来爬去搜集信息，并自己进行处理。

      Sphider是英文版的，索引纯英文网站没有问题，但是我要索引的网站大多是中文网站，所以学习Sphider的第一步就是汉化-1.页面汉化，2-php中文支持mysql字符集编码。Google，百度了半天，界面汉化基本搞定。在php，mysql的utf-8字符集编码方面花费了我很多的时间。

其实就修改三处：

1.php.ini PHP配置文件

default_charset = "UTF-8",将缺省的字符集编码设置为"UTF-8".

2.mysql连接设置

mysql_query("set names 'utf8'");//database.php

3.修改spider.php中$file的编码方式

$file=mb_convert_encoding($file,"UTF-8","gbk,gb2312,UTF-8");

 

一切解决，不过搜索的时候存在字符集编码的问题，暂时用session解决了。索引了快两天网页了，数据库的数据马上达到2个G，一个月后我的数据应该能到30G。马上就可以深入学习mysql了，表设计，集群，查询语句，优化，内置函数，性能调优，存储过程，想着就兴奋。