网页爬虫的最简C/C++程序代码示例------先通过列表获取所有博文id, 然后遍历所有博文id

          做个网页爬虫很简单， 本文我们来用C/C++语言玩一下， 所用环境是Windows + VC++6.0,  其余平台也类似。

          郑重说明：请勿用作非法或者商业用途， 否则后果自负

 

          我们在新浪上随便找一个博客， 比如：http://blog.sina.com.cn/u/5890965060， 我们可以看到， 博主的用户名是：5890965060,   我们访问列表，并用fidder抓包， 可以确定列表访问格式， 直接上代码吧（如下程序只考虑功能， 不考虑性能）：

 

#include <stdio.h>
#include <winsock2.h>
#pragma comment(lib, "ws2_32.lib")

int getRand(int n)
{
	return rand() % n + 1;
}

int main()
{
	int j = 1;
	for(j = 1; j <= 12; j++) // 博主的博文有12个列表
	{
		int flag = 0;
		WSADATA wsaData;
		WSAStartup(MAKEWORD(1,1), &wsaData);
		char szWeb[] = "blog.sina.com.cn";  // 新浪博客
		HOSTENT *pHost = gethostbyname(szWeb);
		const char* pIPAddr = inet_ntoa(*((struct in_addr *)pHost->h_addr)) ;
		printf("web server ip is : %s\n", pIPAddr);

		SOCKADDR_IN  webServerAddr;
		webServerAddr.sin_family = AF_INET;
		webServerAddr.sin_addr.S_un.S_addr=inet_addr(pIPAddr);
		webServerAddr.sin_port = htons(80);

		SOCKET sockClient = socket(AF_INET, SOCK_STREAM, 0);
		int nRet = connect(sockClient ,(struct sockaddr*)&webServerAddr, sizeof(webServerAddr));
		if(nRet < 0)
		{
			printf("connect error\n");
			return 1;
		}

		// 该博主博客列表访问格式/s/articlelist_5890965060_0_%d.html
		char szHttpRest[1024] = {0};
		sprintf(szHttpRest, "GET /s/articlelist_5890965060_0_%d.html HTTP/1.1\r\nHost:%s\r\nConnection: Keep-Alive\r\n\r\n", j, szWeb);

		printf("send buf is:\n");
		printf("%s\n", szHttpRest);

		nRet = send(sockClient , szHttpRest, strlen(szHttpRest) + 1, 0);
		if(nRet < 0)
		{
			printf("send error\n");
			return 1;
		}

		FILE *fp = fopen("test.txt", "a+");
		while(1)
		{
		    char szRecvBuf[2] = {0};
			nRet = recv(sockClient ,szRecvBuf, 1 ,0);
			
			if(nRet < 0)
			{
				printf("recv error\n");
				goto LABEL;
			}			
			
			if(0 == nRet)
			{
				printf("connection has been closed by web server\n");
				goto LABEL;
			}
			
			if(0 == flag)
			{
				printf("writing data to file...\n");
				flag = 1;
			}

			fputc(szRecvBuf[0], fp);
		}


	LABEL: 
		fclose(fp);
		closesocket(sockClient);  
		WSACleanup();  

		printf("list index is ------------------------------------> %d\n\n\n", j);
		Sleep(1000 * getRand(1));
	}

	printf("\n\n\ndone!!!!!!\n\n\n");

    return 0;
}

        过滤test.txt文件发现(过滤原则依赖于fiddler抓包， 从而确定博文链接的格式)：

 

        对照一下原博文：

 

        完全吻合。

    

        如上过程就获取了每一篇博文的id,  也就是说， 获取到了每一篇博文的链接地址， 剩下的工作， 只需要稍微修改下上面的程序， 遍历访问博文链接地址， 就获取获取所有博文内容了。

 

        如果对上述程序进行优化控制， 完全可以做到自动化地获获取所有信息， 不需要人工干预中间过程。 

        当然，上述程序不仅仅是针对新浪， 也可以针对其他类似网站。 原理都一样， 其实还是蛮简单的， 就先说到这里了。