php -- 写一个简单的网页爬行器来收集数据

philp找我，说比较忙，让我给写个程序来收集两个网站上的数据。其实早就想用PHP搞一两个试试。因为事实上，做外贸的朋友应该这方面的需求比较大。经常有人找我说想搞个综合站，问我说有没有办法直接收集别人网站上的数据。创建一个拥有海量数据的网站，再通过SEO来销售。所以就答应下来，写一两个试试。

 

今天搞了半天，终于爬行了一个网站的1W多个网页，收集了1W多条记录。这些数据最终可以形成zen cart或magento的数据格式，直接上线的。

 

只是比较仓促，写的好像执行效率慢，当然可能和我的网络也有关系，网通的实在太烂了，便宜或许真没好货。也不便宜了。

 

 

之前听的比较多的是用CURL，不过我用的是pear的http request和pear db来操作数据库，用simple html dom来分析。

 

 

 

后记:

 

基于此,我们可以对外提供网站数据收集的服务.如果你想要收集哪个网站的数据,请email联系.注意,目前我只提供将数据收集成magento后台批量导入的格式,如果要同时收集图片,则价格不一样.