linux获取网页源码

本文介绍了在Linux环境下通过C语言获取网页源码的多种方式,包括使用socket编程和libcurl库。同时,展示了如何使用libcurl库保存网页内容到本地,以及利用系统调用和select函数实现连接超时的处理。这些方法对于网络编程和自动化任务非常有用。
摘要由CSDN通过智能技术生成
#include <stdio.h> 
#include <winsock.h> 
#include <string.h> 
#pragma comment(lib, "ws2_32.lib") 


void geturl(char *url) 
{ 
	WSADATA WSAData={0}; 
	SOCKET sockfd; 
	struct sockaddr_in addr; 
	struct hostent *pURL; 
	char myurl[BUFSIZ]; 
	char *pHost = 0, *pGET = 0; 
	char host[BUFSIZ], GET[BUFSIZ]; 
	char header[BUFSIZ] = ""; 
	static char text[BUFSIZ]; 
	int i; 
	
	/* 
	* windows下使用socket必须用WSAStartup初始化,否则不能调用 
	*/ 
	if(WSAStartup(MAKEWORD(2,2), &WSAData)) 
	{ 
		printf("WSA failed\n"); 
		return; 
	} 
	
	/* 
	* 分离url中的主机地址和相对路径 
	*/ 
	strcpy(myurl, url); 
	for (pHost = myurl; *pHost != '/' && *pHost != '\0'; ++pHost); 
	if ( (int)(pHost - myurl) == strlen(myurl) ) 
		strcpy(GET, "/"); 
	else 
		strcpy(GET, pHost); 
	*pHost = '\0'; 
	strcpy(host, myurl); 
	printf("%s\n%s\n", host, GET); 
	
	/* 
	* 设定socket参数,并未真正初始化 
	*/ 
	sockfd = socket(PF_INET, SOCK_STREAM, IPPROTO_TCP); 
	pURL = gethostbyname(host); 
	addr.sin_family = AF_INET; 
	addr.sin_addr.s_addr = *((unsigned long*)pURL->h_addr); 
	addr.sin_port = htons(80); 
	
	/* 
	* 组织发送到web服务器的信息 
	* 为何要发送下面的信息请参考HTTP协议的约定 
	*/ 
	strcat(header, "GET "); 
	strcat(header, GET); 
	strcat(header, " HTTP/1.1\r\n"); 
	strcat(header, "HOST: "); 
	strcat(header, host); 
	strcat(header, "\r\nConnection: Close\r\n\r\n"); 
	//printf(header);
	/* 
	* 连接到服务器,发送请求header
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值