【C/C++】用C语言编写爬虫—爬虫程序优化要点

写一个网络爬虫

 

用C语言来写一个网络爬虫，来获取一个网站上感兴趣的信息，抓取自己需要的一切。

#include<cspider/spider.h>/*

    自定义的解析函数，d为获取到的html页面字符串

*/voidp(cspider_t *cspider,char*d) {char*get[100];//xpath解析htmlintsize = xpath(d,"//body/div[@class='wrap']/div[@class='sort-column area']/div[@class='column-bd cfix']/ul[@class='st-list cfix']/li/strong/a",get,100);inti;for(i =0; i < size; i++) {//将获取到的电影名称，持久化saveString(cspider,get[i]);  }}/*

    数据持久化函数，对上面解析函数中调用的saveString()函数传入的数据，进行进一步的保存

*/voids(void*str) {char*get= (char*)str;  printf("%sn",get);return;}intmain() {//初始化spidercspider_t *spider = init_cspider();char*agent ="Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:42.0) Gec