简单网页爬虫

这是第一次写的爬虫，在windows平台下的VS，对象是一个旅游网站上面的图片，实现其先要对VS的数据库进行设定，然后才能运行改程序

#include<stdio.h>
#include<stdlib.h>
#include <assert.h>
#include <string.h>
#include <Urlmon.h>

void loding_html_first();
void loding_html_second();
void loding_picture();
//三次下载，第一次下载的是354页的页面，第二次下载的是每张图片点进去的页面，在此页面中下载图片

#define PAGE_NUM 4
int main()
{
	loding_html_first();
	loding_html_second();
	loding_picture();
	return 0;
}

void loding_html_first()  //http://chanyouji.com/?page=1
{
	char url_head[100] = "http://chanyouji.com/?page=";
	char file[100] = {0};
	char url[256] = {0};
	for(int i=1; i<=PAGE_NUM; i++)
	{
	    sprintf(file, "D:\\电影\\gg\\%d.html", i);  //文件名 //url字符串后面有一个字符串结束符，则该函数是将后面的数字覆盖了前面的结束符。
	    sprintf(url, "%s%d", url_head, i);  
	    URLDownloadToFile(NULL, url, file, 0, NULL);
	}
}

void loding_html_second()  //http://chanyouji.com/trips/547391
{
	char file_name[128];
	for(int i=1; i<=PAGE_NUM ;i++)    //共有354页，1.html
	{
		sprintf(file_name, "D:\\电影\\gg\\%d.html", i);
	    FILE *fr = fopen(file_name, "r"); 
	    assert(fr != NULL);
		//Evaluates an expression and when the result is FALSE, prints a diagnostic message and aborts the program.  
	
		fseek(fr, 0, SEEK_END);
		int file_lenth = ftell(fr);
		rewind(fr);

		char *temp = (char *)malloc(sizeof(char)*file_lenth+10);
		fread(temp, sizeof(char), file_lenth, fr);
		fclose(fr);

		//寻找第二次下载所需要的目标
		char new_url[256];
		char *point=temp;
		char num[10] = {0}; 
		char file_nam[128];

		while((point = strstr(point,"/trips/")) != NULL)   //将该字符后的六位拿出来
		{
			point = point+strlen("/trips/");
			strncpy(num, point, 6);
			sprintf(new_url,"%s%s","http://chanyouji.com/trips/",num);
			printf("%s",new_url);
			sprintf(file_name,"D:\\电影\\hh\\%d.html",i);//将文件存入电脑
			URLDownloadToFile(NULL,new_url,file_name,0,NULL);
			point+=6;
		}
		free(temp);
	}
}

void loding_picture() 
{
	char file_name1[128];
	FILE *fr;
	int i = 1;
	int m = 1;
	while(sprintf(file_name1,"D:\\电影\\hh\\%d.html",i), fr=fopen(file_name1,"r"))
	{
		fseek(fr, 0, SEEK_END);
		int file_lenth = ftell(fr);
		rewind(fr);

		char *ptr = (char *)malloc(sizeof(char)*file_lenth+10);
	    assert(ptr != NULL);

		fread(ptr, sizeof(char), file_lenth, fr);
		fclose(fr);

		char *pt = ptr;
		char buffer[256];
		char file_name2[128] = {0};
		
		while((pt=strstr(pt,"http://p.chanyouji.cn/")) != NULL)
		{
			strncpy(buffer,pt,256);//对该字符串进行截断操作
			buffer[255]=0;
			char *p = strstr(buffer,".jpg");
			if(p != NULL)
			{
				*(p+strlen(".jpg"))=0;
				sprintf(file_name2,"D:\\电影\\mm\\%d.jpg",m);//将文件存入电脑
				printf("%s", buffer);
                URLDownloadToFile(NULL, buffer, file_name2, 0, NULL);
			}
			else
			{
				continue;
			}
			++m;
			pt+=strlen("http://p.chanyouji.cn/");
		}
		free(ptr);
		++i;
	}
	if(fr==NULL)
	{
		printf("open error");
		exit(1);
	}
}

每个网页都有一个URL，找到该URL调用函数访问该点进行下载，下载下来该网页的内容，将其HTML文件包进行逐个字符检查，找出有用的数据进行存储或者下载图片等。