c简单实现爬取网页

最新推荐文章于 2024-05-02 21:47:38 发布

jlaij

最新推荐文章于 2024-05-02 21:47:38 发布

阅读量3.5k

点赞数

分类专栏： c/c++ 文章标签： linux http

本文链接：https://blog.csdn.net/chinabhlt/article/details/44266029

版权

本文展示了如何利用C语言通过HTTP协议简单实现网页抓取。通过构造GET请求，包括设置Host、Accept、User-Agent和Connection头信息，来从www.baidu.com获取数据。

摘要由CSDN通过智能技术生成

实例：

#include <sys/socket.h>  
#include <sys/types.h>  
#include <stdio.h>  
#include <fcntl.h>  
#include<netinet/in.h>  
#include<unistd.h>  
#include<arpa/inet.h>  
#include<errno.h>  
#include<stdlib.h>  
#include <netdb.h>  
#include <string.h>  
      
int main()  
{  
	int sockfd;  
	struct sockaddr_in sin;  
	struct hostent *ht;  
	char GETPAGE[] = "GET /chinabhlt/article/details/43670871 HTTP/1.1\nHost:blog.csdn.net\n\n";  
        
	char bufpage[100000];  
	if((ht = gethostbyname("blog.csdn.net")) == NULL)  
	{  
		perror("no website");  
		return -1;  
	}  
	//printf("host:%s\n", ht->h_name);     
	sin.sin_port = htons(80);  
	sin.sin_addr.s_addr = *(unsigned long*)ht->h_addr_list[0];  
	sin.sin_family = AF_INET;  
          
	if((sockfd = socket(AF_INET, SOCK_STREAM, 0))<0)  
	{