linux获取网页源码

最新推荐文章于 2024-09-26 11:00:34 发布

flyear_cn

最新推荐文章于 2024-09-26 11:00:34 发布

阅读量1k

点赞数

分类专栏： linux编程

本文链接：https://blog.csdn.net/flyear_cn/article/details/19046471

版权

本文介绍了在Linux环境下通过C语言获取网页源码的多种方式，包括使用socket编程和libcurl库。同时，展示了如何使用libcurl库保存网页内容到本地，以及利用系统调用和select函数实现连接超时的处理。这些方法对于网络编程和自动化任务非常有用。

摘要由CSDN通过智能技术生成

#include <stdio.h> 
#include <winsock.h> 
#include <string.h> 
#pragma comment(lib, "ws2_32.lib") 


void geturl(char *url) 
{ 
	WSADATA WSAData={0}; 
	SOCKET sockfd; 
	struct sockaddr_in addr; 
	struct hostent *pURL; 
	char myurl[BUFSIZ]; 
	char *pHost = 0, *pGET = 0; 
	char host[BUFSIZ], GET[BUFSIZ]; 
	char header[BUFSIZ] = ""; 
	static char text[BUFSIZ]; 
	int i; 
	
	/* 
	* windows下使用socket必须用WSAStartup初始化，否则不能调用 
	*/ 
	if(WSAStartup(MAKEWORD(2,2), &WSAData)) 
	{ 
		printf("WSA failed\n"); 
		return; 
	} 
	
	/* 
	* 分离url中的主机地址和相对路径 
	*/ 
	strcpy(myurl, url); 
	for (pHost = myurl; *pHost != '/' && *pHost != '\0'; ++pHost); 
	if ( (int)(pHost - myurl) == strlen(myurl) ) 
		strcpy(GET, "/"); 
	else 
		strcpy(GET, pHost); 
	*pHost = '\0'; 
	strcpy(host, myurl); 
	printf("%s\n%s\n", host, GET); 
	
	/* 
	* 设定socket参数,并未真正初始化 
	*/ 
	sockfd = socket(PF_INET, SOCK_STREAM, IPPROTO_TCP); 
	pURL = gethostbyname(host); 
	addr.sin_family = AF_INET; 
	addr.sin_addr.s_addr = *((unsigned long*)pURL->h_addr); 
	addr.sin_port = htons(80); 
	
	/* 
	* 组织发送到web服务器的信息 
	* 为何要发送下面的信息请参考HTTP协议的约定 
	*/ 
	strcat(header, "GET "); 
	strcat(header, GET); 
	strcat(header, " HTTP/1.1\r\n"); 
	strcat(header, "HOST: "); 
	strcat(header, host); 
	strcat(header, "\r\nConnection: Close\r\n\r\n"); 
	//printf(header);
	/* 
	* 连接到服务器，发送请求header