最近我需要写点页面分析的东西,这些东西某些程度上类似搜索引擎的“爬虫->parser->存储”的过程。
过去我常用的抓取页面的库是libcurl,这个东西是unix常用命令curl的基础,curl被称做“命令行浏览器”,功能强大,支持的协议也全面。遗憾的是libcurl仅仅是个支持多协议的抓取库,不能做解析。
找来找去,发现了w3c的Libwww库,这东西功能强大的吓人,不仅有解析,还有robot(也就是爬虫了,或是叫internet walker)功能。在Libwww基础上完成的程序很多,最著名的大概是字符模式的浏览器lynx。我几乎就觉得这就我需要的东西了,立刻dive into。
一整天之后,我终于能用这东西抓下来页面,并且从html页面中分析出来一些信息了,但是想更进一步就变的异常困难。因为这个库功能太复杂了。这东西文档不详细,被人提及的也少。Libwww最近的Release 5.3.2,发布于2000年12月20日。一个有这么多年历史的东西,竟然没多少开发者在讨论,非常不正常。
找来找去,最后在libcurl的FAQ里面看到了和Libwww的比较,精选的读者来信告诉我,不仅仅是我一个人被Libwww的复杂弄的晕了头脑,我才花了一整天,写信的那个哥们竟然用了一人月,还是在里面打转,直到换了 curl才好。虽然这是libcurl推销自己的方法,不过这些失败的前辈的经验让我对自己的智商重新有了信心。看来这东西没多少人讨论是正常的...
好吧,我也投降,libcurl没html解析功能,这没关系,我找别的办法好了...这么复杂的库,再好我也实在没办法忍受下去了,再说我需要的功能其实也真没Libwww那么复杂的。
写程序其实很容易迷失,你会看到一个似乎很完美,什么都能做的东西,一下子就喜欢上它,但是最后往往还是无福消受。往往是那些,不那么成熟,多少有点小毛病的库,组合在一起才是真正的解决方案。
=======================================================================
from: http://www.9php.com/FAQ/cxsjl/c/2008/09/2520639129348.html
使用libcurl的post方法上传数据,很奇怪奇怪的问题!!。。。
使用libcurl的(9php.com)post方法上传数据,很奇怪奇怪的(9php.com)问题!!。。。
我用libcurl将网页下载写到一个string对象中,然后对其处理--取词。再用libcurl的(9php.com)post方法将内容上传,处理一条后就接着上传,60多条记录下来,发现有30多条没有上传上去。不知道什么原因。大家帮忙分析一下。。。
2008-9-11 15:44lemonniu
上传代码:
int CurlUpload(string XMLCode,string xmlUid)
{
CURL *curl;
// CURLcode response; //定义CURLcode类型的(9php.com)变量
CURLcode code;
CURLcode retcode;
code=curl_global_init(CURL_GLOBAL_ALL); //初始化所有可能的(9php.com)调用
if(code!=CURLE_OK)
{
cout<<"upload global init failed"<<endl;
return -1;
}
curl = curl_easy_init(); //初始化一个CURL类型的(9php.com)指针
if(curl==NULL)
{
cout<<"upload Failed create CURL connection"<<endl;
curl_easy_cleanup(curl);
return -1;
}
code=curl_easy_setopt(curl,CURLOPT_URL,"http://192.168.1.210/parser/save");
if(code!=CURLE_OK)
{
cout<<"upload Failed set url"<<endl;
curl_easy_cleanup(curl);
return -1;
}
string request="uid="+xmlUid;
request+="&xml="+XMLCode;
code=curl_easy_setopt(curl, CURLOPT_POST, 1);
if(code!=CURLE_OK)
{
curl_easy_cleanup(curl);
cout<<"upload Failed set POST"<<endl;
return -1;
}
//code=curl_easy_setopt(curl, CURLOPT_POSTFIELDS,request.c_str());
code=curl_easy_setopt(curl,CURLOPT_COPYPOSTFIELDS,request.c_str());
if(code!=CURLE_OK)
{
curl_easy_cleanup(curl);
cout<<"upload Failed set postfields"<<endl;
return -1;
}
code=curl_easy_perform(curl);
if(code!=CURLE_OK)
{
curl_easy_cleanup(curl);
cout<<"upload Failed to upload data"<<endl;
return -1;
}
code=curl_easy_getinfo(curl,CURLINFO_RESPONSE_CODE,&retcode);
if ( (code == CURLE_OK) && retcode == 200 )
{
cout<<retcode<<endl;
cout<<"send ok"<<endl;
sum++;
curl_easy_cleanup(curl);
return 1;
}
else
{
//curl_easy_cleanup(curl);
return -1;
}
}
=======================================================================
from: http://blog.163.com/xu_chao2000/blog/static/27770610200801303252802/
libcurl应用:如何把下载内容写入内存
libcurl 的文档中有getinmemory.c这个例子,把下载的网页写入自己定义的一个memorystruct中,看了这个例子的做法,它需要自己照顾内存的开辟,特别是需要在curl_easy_perform的调用函数中释放已开辟的内存,很不利于函数的封装,而且应用于multihandle的时候,运行时会出莫名其妙的assert错误。因此改写了一下,将下载的内容放入stl的string中,这样根本不需要自己照顾内存的开辟和释放。源代码如下:
#include <string>
#include "curl.h"
using namespace std;
static char errorBuffer[CURL_ERROR_SIZE];
static int writer(char *, size_t, size_t, string *);
static bool init(CURL *&, char *,string *);
int main()
{
CURL *conn = NULL;
CURLcode code;
string buffer;
curl_global_init(CURL_GLOBAL_DEFAULT);
char* url="http://cool.haxx.se/";
if (!init(conn,url,&buffer ))
{
fprintf(stderr, "Connection initializion failed/n");
exit(EXIT_FAILURE);
}
code = curl_easy_perform(conn);
if (code != CURLE_OK)
{
fprintf(stderr, "Failed to get '%s' [%s]/n", url, errorBuffer);
exit(EXIT_FAILURE);
}
curl_easy_cleanup(conn);
printf("%s/n",buffer.c_str());
return 0;
}
static bool init(CURL *&conn, char *url,string *p_buffer)
{
CURLcode code;
conn = curl_easy_init();
if (conn == NULL)
{
fprintf(stderr, "Failed to create CURL connection/n");
exit(EXIT_FAILURE);
}
code = curl_easy_setopt(conn, CURLOPT_ERRORBUFFER, errorBuffer);
if (code != CURLE_OK)
{
fprintf(stderr, "Failed to set error buffer [%d]/n", code);
return false;
}
code = curl_easy_setopt(conn, CURLOPT_URL, url);
if (code != CURLE_OK)
{
fprintf(stderr, "Failed to set URL [%s]/n", errorBuffer);
return false;
}
code = curl_easy_setopt(conn, CURLOPT_FOLLOWLOCATION, 1);
if (code != CURLE_OK)
{
fprintf(stderr, "Failed to set redirect option [%s]/n", errorBuffer);
return false;
}
code = curl_easy_setopt(conn, CURLOPT_WRITEFUNCTION, writer);
if (code != CURLE_OK)
{
fprintf(stderr, "Failed to set writer [%s]/n", errorBuffer);
return false;
}
code = curl_easy_setopt(conn, CURLOPT_WRITEDATA, p_buffer);
if (code != CURLE_OK)
{
fprintf(stderr, "Failed to set write data [%s]/n", errorBuffer);
return false;
}
return true;
}
static int writer(char *data, size_t size, size_t nmemb, string *writerData)
{
unsigned long sizes = size * nmemb;
if (writerData == NULL) return 0;
writerData->append(data, sizes);
return sizes;
}
转载于:https://blog.51cto.com/wellwy/640748