知识巩固源码落实之4：http get同步请求数据demo

1：背景介绍

http是基于C/S模式的，一直对如何实现http请求很疑惑。

http的协议理论了解很多，却一直无从下手不知道怎么实现一个http的请求。

作为一个http的客户端，请求服务器的一个消息，实现demo，做代码备份。

1.1：协议简单了解

这里实现一个http的get请求，获取对端服务器的响应进行打印，实现demo

//http请求实际就是按照http协议，构造特定的数据，使用tcp进行发送 
//请求行 请求头部 空行  请求数据
    // GET %s %s\r\n   resource  HTTP_VERSION   请求行
	// Host: %s\r\n    hostname					请求头
	// %s\r\n          CONNECTION_TYPE			请求头
	// \r\n

1.2：关注细节

1.2.1：需要关注hostname转ip的相关方法

把hostname转为目的服务器的具体ip，创建tcp client，进行连接，发送数据得请求。

//转换 url和ip  返回ip
char *get_ip_by_host(const char * hostname)
{
	//通过域名获取ip
	struct hostent *host_entry = gethostbyname(hostname);
	if(host_entry == NULL)
	{
		return NULL;
	}

	//通过 struct hostent * 可以获取到域名  ip列表等信息
	printf("host name is [%s] \n", host_entry->h_name);
	printf("the other name is :\n");
	for(int i=0; host_entry->h_aliases[i]; ++i)
	{
		printf("   [i:%d][%s] \n", i, host_entry->h_aliases[i]);
	}

	printf("Address type: %s\n", (host_entry->h_addrtype==AF_INET) ? "AF_INET": "AF_INET6");

	printf("address length: %d \n", host_entry->h_length);

	printf("ip list is :\n");
	for(int i=0; host_entry->h_addr_list[i]; ++i)
	{
		// printf("   [i:%d][%s] \n", i, host_entry->h_addr_list[i]);
		printf("   [i:%d][%s] \n", i, inet_ntoa(*(struct in_addr*)host_entry->h_addr_list[i]));
	}
	return inet_ntoa(*(struct in_addr*)*host_entry->h_addr_list);
}

1.2.2：需要关注如何按照http协议构造要发送的数据

构造发送的字符串，使用tcp进行发送。

#define HTTP_VERSION    "HTTP/1.1"

//好像不同的浏览器有不同的一些参数  可以在网页用f12请求进行查看 
#define USER_AGENT      "User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:10.0.2) Gecko/20100101 Firefox/10.0.2\r\n"
#define ENCODE_TYPE     "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8\r\n"
#define CONNECTION_TYPE "Connection: close\r\n"

int len = sprintf(send_buff, "GET %s %s\r\nHost: %s\r\n%s\r\n\r\n",\
		resource, HTTP_VERSION, hostname, CONNECTION_TYPE);

//send_buff 即为我们对服务器请求的http格式的消息，使用tcp进行发送

2：测试代码

http基于tcp/ip实现的，使用tcp发送特定协议的报文数据而已。

注意按照http的协议格式构造tcp待发送数据，等待对端的回应。 （作为http的客户端，对服务器进行数据请求）

/********************************************************
info: 作为http的客户端，拉取一下远端服务器数据，练习一下
data: 2022/02/10
author: hlp

测试：./XXX www.baidu.com /
	  ./XXX api.seniverse.com /v3/weather/now.json?key=0pyd8z7jouficcil&location=beijing&language=zh-Hans&unit=c
********************************************************/

//练习http的get请求，通过url转换ip,创建tcp，发送构造的http协议，请求服务器的内容
//异步发送和接收  其实是利用了epoll event的指针，指向的函数指针

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

#include <sys/types.h>
#include <sys/socket.h>
#include <sys/time.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <unistd.h>       /* close */
#include <netdb.h> 

#include <time.h>
#include <fcntl.h>
#include <errno.h>


//转换 url和ip  返回ip
char *get_ip_by_host(const char * hostname);
//创建socket 根据服务器ip和断开 进行连接 返回fd
int create_http_socket(const char * ip);
//发送http请求 返回发送成功还是失败
int send_http_request(int fd, const char * hostname, const char* resource);
//获取回应消息并打印 监听对端的回应进行打印 返回成功或者失败
int get_recv_http_response(int sockfd);


//作为http的客户端，一请求一结束
int main(int argc, char *argv[])
{
	if(argc < 3)
	{
		printf(" please use ./%s hostname resouse \n\n", argv[0]);
		return -1;
	}
	//根据入参，解析获取到的url，保存请求的资源
	char * ip = get_ip_by_host(argv[1]);
	printf("get ip is [%s] \n", ip);

	//构造tcp连接 作为tcp的客户端，主动连接目标服务器
	int connfd = create_http_socket(ip);

	//构造http报文，发送http请求,并获取到返回结果
	send_http_request(connfd, argv[1], argv[2]);

	//监听获取http的请求的回复 内部做输出查看
	get_recv_http_response(connfd);

	close(connfd); //客户端主动关闭fd
	return 0;
}
// struct hostent {
//    char  *h_name;            /* 官方域名 */
//    char **h_aliases;         /* 别名 */
//    int    h_addrtype;        /* 地址簇类型 标明ipv4和ipv6 */
//    int    h_length;          /* ip地址的长度 */
//    char **h_addr_list;       /* 以整数的形式标识ip */
//            }

//转换 url和ip  返回ip
char *get_ip_by_host(const char * hostname)
{
	//通过域名获取ip
	struct hostent *host_entry = gethostbyname(hostname);
	if(host_entry == NULL)
	{
		return NULL;
	}

	//通过 struct hostent * 可以获取到域名  ip列表等信息
	printf("host name is [%s] \n", host_entry->h_name);
	printf("the other name is :\n");
	for(int i=0; host_entry->h_aliases[i]; ++i)
	{
		printf("   [i:%d][%s] \n", i, host_entry->h_aliases[i]);
	}

	printf("Address type: %s\n", (host_entry->h_addrtype==AF_INET) ? "AF_INET": "AF_INET6");

	printf("address length: %d \n", host_entry->h_length);

	printf("ip list is :\n");
	for(int i=0; host_entry->h_addr_list[i]; ++i)
	{
		// printf("   [i:%d][%s] \n", i, host_entry->h_addr_list[i]);
		printf("   [i:%d][%s] \n", i, inet_ntoa(*(struct in_addr*)host_entry->h_addr_list[i]));
	}
	return inet_ntoa(*(struct in_addr*)*host_entry->h_addr_list);
}

//创建socket 根据服务器ip和断开 进行连接 返回fd
int create_http_socket(const char * ip)
{
	//创建socket 根据Ip:port连接对端
	int sockfd = socket(AF_INET, SOCK_STREAM, 0);
	if(sockfd < 0)
	{
		return -1;
	}

	struct sockaddr_in sin = {0};
    sin.sin_addr.s_addr = inet_addr(ip);
    sin.sin_port = htons(80);
    sin.sin_family = AF_INET;

    //连接服务器 
    if (-1 == connect(sockfd, (struct sockaddr*)&sin, sizeof(struct sockaddr_in))) {
    	printf("connect http server error \n");
        return -1;
    }
    //设置fd非阻塞
	fcntl(sockfd, F_SETFL, O_NONBLOCK);    
	return sockfd;
}

#define HTTP_VERSION    "HTTP/1.1"
//好像不同的浏览器有不同的一些参数  可以在网页用f12请求进行查看 
#define USER_AGENT      "User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:10.0.2) Gecko/20100101 Firefox/10.0.2\r\n"
#define ENCODE_TYPE     "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8\r\n"

#define CONNECTION_TYPE "Connection: close\r\n"

#define BUFFER_SIZE 4096
//发送http请求 返回发送成功还是失败

int send_http_request(int fd, const char * hostname, const char* resource)
{
	char send_buff[BUFFER_SIZE] = {0};
	//构造发送的请求报文  请求行 请求头部 空行  请求数据

	// GET /teacher_6.jpg HTTP/1.1
	// Host: www.0voice.com
	// User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.113 Safari/537.36
	// Content-Type: application/x-www-form-urlencoded
	// Content-Length: 9
	// lingsheng

//只关注了必须的参数  测试一下
	// GET %s %s\r\n   resource  HTTP_VERSION   请求行
	// Host: %s\r\n    hostname					请求头
	// %s\r\n          CONNECTION_TYPE			请求头
	// \r\n
	int len = sprintf(send_buff, "GET %s %s\r\nHost: %s\r\n%s\r\n\r\n",\
		resource, HTTP_VERSION, hostname, CONNECTION_TYPE);

	printf("send request buff is [%lu][%s] \n", strlen(send_buff), send_buff);
	int buff_len = strlen(send_buff);
	int sendlen = send(fd, send_buff, strlen(send_buff), 0);
	if(buff_len != sendlen)
	{
		printf("send buffer error \n");
		return -1;
	}

	return 0;
}

//获取回应消息并打印 监听对端的回应进行打印 返回成功或者失败
int get_recv_http_response(int sockfd)
{
	//使用io多路复用select对接收 进行输出

	struct timeval tv;
    tv.tv_sec = 5;
    tv.tv_usec = 0;


	fd_set fdread;
    FD_ZERO(&fdread);
    FD_SET(sockfd, &fdread);

    //存储最终结果
    char *result = malloc(sizeof(int));
    result[0] = '\0';

    //存储每次recv的数据
    int len = 0;
    char buffer[BUFFER_SIZE] = {0};
    while (1) {
 
        int selection = select(sockfd+1, &fdread, NULL, NULL, &tv);
        if (!selection || !(FD_ISSET(sockfd, &fdread))) {
            break;
        } else {
        	//这里是客户端  只针对这个连接的场景
            len = recv(sockfd, buffer, BUFFER_SIZE, 0);
            if (len == 0) break;
 			//重新申请大小并对接收到的数据进行追加 
            result = realloc(result, (strlen(result) + len + 1) * sizeof(char));
            strncat(result, buffer, len);
        }
    }

    if(result == NULL)
    {
    	return -1;
    }
    //打印并释放接收到的数据
    puts(result);
    free(result);
	return 0;
}

3：测试结果：

如，请求baidu的主页，有的url是https的，这里暂时只是http的练习，https的相关需要安全认证。

./XXX www.baidu.com /
./XXX api.seniverse.com /v3/weather/now.json?key=0pyd8z7jouficcil&location=beijing&language=zh-Hans&unit=c

hlp@ubuntu:~/220107$ ./get www.baidu.com /
... #这里打印过多 省略
hlp@ubuntu:~/220107$ ./get api.seniverse.com /v3/weather/now.json?key=0pyd8z7jouficcil&location=hefei&language=zh-Hans&unit=c
[1] 9103
[2] 9104
[3] 9105
hlp@ubuntu:~/220107$ host name is [api.seniverse.com] 
the other name is :
Address type: AF_INET
address length: 4 
ip list is :
   [i:0][116.62.81.138] 
get ip is [116.62.81.138] 
send request buff is [104][GET /v3/weather/now.json?key=0pyd8z7jouficcil HTTP/1.1
Host: api.seniverse.com
Connection: close


] 
HTTP/1.1 400 Bad Request
Date: Sun, 13 Feb 2022 14:26:26 GMT
Content-Type: application/json
Content-Length: 55
Connection: close
access-control-allow-origin: *
x-request-id: FtNerTOXZFLlW0IvMUaB

{"status":"Wrong parameters.","status_code":"AP010001"}

我开始试着积累一些常用代码：自己代码库中备用

我的知识储备更多来自这里，推荐你了解：Linux，Nginx，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，流媒体，CDN，P2P，K8S，Docker，TCP/IP，协程，DPDK等技术内容，立即学习