【C/C++】用C语言编写爬虫 — 爬虫程序优化要点！

写一个网络爬虫

用C语言来写一个网络爬虫，来获取一个网站上感兴趣的信息，抓取自己需要的一切。

#include<cspider/spider.h>/*

自定义的解析函数，d为获取到的html页面字符串

/voidp(cspider_t cspider,chard) {charget[100];//xpath解析htmlintsize = xpath(d,"//body/div[@class='wrap']/div[@class='sort-column

area']/div[@class='column-bd cfix']/ul[@class='st-list cfix']/li/strong/a",get,100);inti;for(i =0; i < size; i++) {//将获取到的电影名称，持久化saveString(cspider,get[i]); }}/*

数据持久化函数，对上面解析函数中调用的saveString()函数传入的数据，进行进一步的保存

/voids(voidstr) {charget= (char)str; printf("%sn",get);return;}intmain() {//初始化spidercspider_t spider = init_cspider();charagent ="Mozilla/5.0 (Macintosh; Intel

Mac OS X 10.10; rv:42.0) G