代码解说一个网络爬虫的实现过程（一） http://www.it-park.cn/Group/TopicInfo.aspx?TopicIndex=6

代码解说一个网络爬虫的实现过程（一）

2007-10-29 15:48:48

-

会对这个话题感兴趣的兄弟，估计就不用我解释什么是网络爬虫了。呵~简单带一下：

网络爬虫，俗称蜘蛛，是一种自动化程序，能够抓取互联网上各站点的网页回来。之所以得以名，应该是把互联网比喻成一个由超链接组成的网，爬虫就可以从一个起始的链接开始，不断的地爬数据回来。

 

这个层次上讲，只要你给它一个入口，它就可以给你一个互联网。因为网络是连通的。但是，这是理论上的问题。

 

好了，回到正题，说说一个简单的爬虫的实现，及一些相关的技术点，以及在window平台下用C++如何实现它。

1）  爬行：

上网浏览是基于http协议80端口，发出各种GET or POST命令，网站服务器会响应合法的请求，并返回数据回来，所以，爬虫的工作基础就是不断去请求数据回来。

有两种方法，一种是自己封装socket ,模拟HTTP协议请求，去获取数据，实现有一复杂性，要求你对TCP/Ip协议比较了解，但优点是自己做到可控，且优化空间大；第二种方法是MS大佬已经提供操作应用层协议的库，包括HTTP，FTP等常用协议。它就是Winnet.

 

m_hHandleOpen = InternetOpen("InetURL/1.0",

         INTERNET_OPEN_TYPE_PRECONFIG,

         NULL,

         NULL,

         INTERNET_FLAG_DONT_CACHE/*0/*INTERNET_FLAG_ASYNC*/);//从缓存中读文件

 

     if( m_hHandleOpen == 0 )

     {

         cout<<"InternetOpen Url "<< m_strUrl<<"error!!!"<<GetLastError()<<endl;

         OnTaskFailed();

         return;

     }

 

     int nTimeOut = 3000;

     ::InternetSetOption( m_hHandleOpen, INTERNET_OPTION_CONNECT_TIMEOUT , &nTimeOut, sizeof( nTimeOut ) );

  

     m_hFile = InternetOpenUrl( m_hHandleOpen,

         strUrl.c_str(),

         NULL, 0, 0, 0 );

         if( m_hFile == NULL )

     {

         cout<<"OperUrl Error:"<<GetLastError()<<endl;

}

if ( m_hFile )

     {

         do

         {

              memset( pBuf, 0, sizeof(BYTE)*BUFSIZE );

              bRead = InternetReadFile( m_hFile, pBuf, sizeof(BYTE)*BUFSIZE, &dwNum);    //

              //读取BUFSIZE 字节时，进行查找html，找不到html 标识，认为不是HTML 页面

              strBuf += (char*)pBuf;

         }while ( bRead && dwNum > 0 );

}

delete[]pBuf;

 

InternetCloseHandle( m_hFile);

InternetCloseHandle( m_hHandleOpen );

以上几个API就可以完成页面的爬取工作了。