Transfer-Encoding chunked C写个解析

最新推荐文章于 2022-12-28 15:39:57 发布
最新推荐文章于 2022-12-28 15:39:57 发布
阅读量558 收藏 1
点赞数
分类专栏： C
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZRXSLYG/article/details/90048464
版权 
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <netdb.h>


#include <stdio.h>
#include <string.h>
#include <stdlib.h>

#include <fcntl.h>
#include <unistd.h>
#include <errno.h>

#define min(a,b) (a)<(b)?(a):(b)

int readline_sock(int sockfd,char* RecvData,int RecvLen)
{
	char tmp;
	int len = 0;
	int ret;
	while(len < RecvLen && (ret = recv(sockfd,&tmp,1,0)) == 1)
	{
		if(tmp == '\r')
			break;
		memcpy(RecvData + len,&tmp,1);
		len += 1;
	}
	if(ret != 1)
	{
		printf("readline err %d %s",errno,strerror(errno));
		return -1;
	}
	if(len == RecvLen)
		return len;
	if(tmp == '\r')
	{
		ret = recv(sockfd,&tmp,1,0);
		if(ret != 1)
		{
			printf("readline err %d %s",errno,strerror(errno));
			return -1;
		}
		else
		{
			return len;
		}
	}
}

int readbytes_sock(int sockfd,char* RecvData,int RecvLen)
{
	int len = 0,l = 0;
	
	while((len = recv(sockfd,RecvData + l,RecvLen - l,0)) > 0)
	{
		l += len;
	}
	if(len < 0)
		return len;
	return l;
}


int connect_alipay_new(char *host,int port,char *sendData,int sendData_len,char *recvData,int recvData_maxlen)
{
	int sockfd;
	struct hostent *phost = NULL;
	struct sockaddr_in sin;
	char tmp[0x8000 + 1];
	int tmp_len = 0;
	char name[100],value[100],*index1,*index2;
	
	int fd = 0;
	int recv_len = 0 ,len,len2;
	
	
	printf("gethostbyname start %s\n",__TIME__);
	phost = gethostbyname(host);
	if(phost ==NULL)	return;
	
	sockfd = socket(AF_INET,SOCK_STREAM,IPPROTO_TCP);
	printf("gethostbyname end ok %s\n",__TIME__);
	sin.sin_family = AF_INET;
	sin.sin_port = htons(port);
	sin.sin_addr = *(struct in_addr*)phost->h_addr_list[0];
	
	printf("connect start %s\n",__TIME__);
	if(connect(sockfd,(struct sockaddr*)&sin,sizeof(sin)) < 0)
	{
		printf("connect err [%d] [%s]\n",errno,strerror(errno));
		exit(0);
	}
	printf("connect end ok %s\n",__TIME__);
	
	
	send(sockfd,sendData,sendData_len,0);
	
	memset(recvData,0,recvData_maxlen);
	
	memset(tmp,0,sizeof(tmp));
	tmp_len = readline_sock(sockfd,tmp,sizeof(tmp));
	if(tmp_len == -1)	return tmp_len;
	if(memcmp(tmp,"HTTP/1.1 200",12) != 0)
	{
		//recv_len = -1;
		//goto finish;
	}
	
	do
	{
		memset(tmp,0,sizeof(tmp));
		
		tmp_len = readline_sock(sockfd,tmp,sizeof(tmp));
		printf("lllll[%d][%s]\n",tmp_len,tmp);
		if(tmp_len <= 0)break;
		memset(name,0,sizeof(name));
		memset(value,0,sizeof(value));
		index1 = strchr(tmp,':');
		if(index == NULL)	break;
		strncpy(name,tmp,index1 - tmp);
		if(*(index1+1) == ' ')	index1++;
		strcpy(value,index1);
		printf("name:[%s] value[%s]\n",name,value);
		setenv(name,value,1);
	}while(1);
	
	memset(recvData,0,recvData_maxlen);
	
	
	if(tmp_len < 0)	
	{
		recv_len = -1;
		goto finish;
	}
	
	fd = open("log2",O_WRONLY|O_CREAT,0664);
	
	index1 = NULL;
	index1 = getenv("Transfer-Encoding");
	if(index1 != NULL)
	{
		recv_len = 0;
		while(1)
		{
			memset(tmp,0,sizeof(tmp));
			tmp_len = readline_sock(sockfd,tmp,sizeof(tmp));
			if(tmp_len == 0)
			{
				recv_len = -1;
				goto finish;
			}
			len = 0;
			sscanf(tmp,"%x",&len);
			
			printf("len:[%d]\ndata:[%s]",len,tmp);
			
			if(len == 0)
			{
				printf("finish\n");
				break;
			}
			memset(tmp,0,sizeof(tmp));
			tmp_len = 0;
			tmp_len = readbytes_sock(sockfd,tmp,len);
			if(tmp_len != len || tmp_len < 0)
			{
				printf("tmp_len != len,tmp_len=[%d] len=[%d]\n",tmp_len,len);
				recv_len = -1;
				goto finish;
			}
			else
			{
				write(fd,tmp,len);
				//memcpy(recvData + recv_len,tmp,len);
				recv_len += len;
			}
			tmp_len = readline_sock(sockfd,tmp,sizeof(tmp));
			if(tmp_len == 0)
				continue;
			else
				break;
		}
		goto finish;
	}
	
	index1 = NULL;
	index1 = getenv("Content-Length");
	if(index1 != NULL)
	{
		len = atol(index1);
		printf("Content-Lenght[%d]\n",len);
		if(len >= recvData_maxlen)
		{
			recv_len = -1;
			goto finish;
		}
		else
		{
			recv_len = readbytes_sock(sockfd,recvData,len);
			if(recv_len < len)
			{
				recv_len = -1;
				goto finish;
			}
			goto finish;
		}
	}
	

finish:

	close(sockfd);

	return recv_len;
	
}

int connect_alipay_fd(char *host,int port,char *sendData,int sendData_len,int fd)
{
	int sockfd;
	struct hostent *phost = NULL;
	struct sockaddr_in sin;
	char tmp[0x8000 + 1];
	int tmp_len = 0;
	char name[100],value[100],*index1,*index2;

	int recv_len = 0 ,len,len2;
	
	
	printf("gethostbyname start %s\n",__TIME__);
	phost = gethostbyname(host);
	if(phost ==NULL)	return;
	
	sockfd = socket(AF_INET,SOCK_STREAM,IPPROTO_TCP);
	printf("gethostbyname end ok %s\n",__TIME__);
	sin.sin_family = AF_INET;
	sin.sin_port = htons(port);
	sin.sin_addr = *(struct in_addr*)phost->h_addr_list[0];
	
	printf("connect start %s\n",__TIME__);
	if(connect(sockfd,(struct sockaddr*)&sin,sizeof(sin)) < 0)
	{
		printf("connect err [%d] [%s]\n",errno,strerror(errno));
		exit(0);
	}
	printf("connect end ok %s\n",__TIME__);
	
	
	send(sockfd,sendData,sendData_len,0);
	
	
	memset(tmp,0,sizeof(tmp));
	tmp_len = readline_sock(sockfd,tmp,sizeof(tmp));
	if(tmp_len == -1)	return tmp_len;
	if(memcmp(tmp,"HTTP/1.1 200",12) != 0)
	{
		//recv_len = -1;
		//goto finish;
	}
	
	do
	{
		memset(tmp,0,sizeof(tmp));
		
		tmp_len = readline_sock(sockfd,tmp,sizeof(tmp));
		printf("lllll[%d][%s]\n",tmp_len,tmp);
		if(tmp_len <= 0)break;
		memset(name,0,sizeof(name));
		memset(value,0,sizeof(value));
		index1 = strchr(tmp,':');
		if(index == NULL)	break;
		strncpy(name,tmp,index1 - tmp);
		if(*(index1+1) == ' ')	index1+=2;
		else index1 +=1;
		strcpy(value,index1);
		printf("name:[%s] value[%s]\n",name,value);
		setenv(name,value,1);
	}while(1);
	
	
	
	
	if(tmp_len < 0)	
	{
		recv_len = -1;
		goto finish;
	}
	
	
	index1 = NULL;
	index1 = getenv("Transfer-Encoding");
	if(index1 != NULL && strcmp(index1,"chunked") == 0)
	{
		recv_len = 0;
		while(1)
		{
			memset(tmp,0,sizeof(tmp));
			tmp_len = readline_sock(sockfd,tmp,sizeof(tmp));
			if(tmp_len == 0)
			{
				recv_len = -1;
				goto finish;
			}
			len = 0;
			sscanf(tmp,"%x",&len);
			
			printf("len:[%d]\ndata:[%s]",len,tmp);
			
			if(len == 0)
			{
				printf("finish\n");
				break;
			}
			memset(tmp,0,sizeof(tmp));
			tmp_len = 0;
			tmp_len = readbytes_sock(sockfd,tmp,len);
			if(tmp_len != len || tmp_len < 0)
			{
				printf("tmp_len != len,tmp_len=[%d] len=[%d]\n",tmp_len,len);
				recv_len = -1;
				goto finish;
			}
			else
			{
				write(fd,tmp,len);
			}
			tmp_len = readline_sock(sockfd,tmp,sizeof(tmp));
			if(tmp_len == 0)
				continue;
			else
				break;
		}
		goto finish;
	}
	
	index1 = NULL;
	index1 = getenv("Content-Length");
	if(index1 != NULL)
	{
		len = atol(index1);
		printf("Content-Lenght[%d]\n",len);
		recv_len = 0;
		while(recv_len < len)
		{
			memset(tmp,0,sizeof(tmp));
			tmp_len = readbytes_sock(sockfd,tmp,min(len - recv_len,sizeof(tmp)-1));
			if(tmp_len < 0)
			{
				recv_len = -1;
				goto finish;
			}
			recv_len += tmp_len;
			write(fd,tmp,tmp_len);
		}
		goto finish;

	}
	

finish:

	close(sockfd);

	return recv_len;
	
}

int main()
{
	//char *host = "www.baidu.com";
	//int port = 80;
	char *host = "127.0.0.1";
	int port = 8888;
	
	int fd = open("log",O_WRONLY|O_CREAT|O_TRUNC,0664);
	
	int recv_len,len;
	char sendData[40960] = {0},recvData[40960] = {0};
	
	sprintf(sendData,"GET / HTTP/1.1\r\nAccept: */*\r\nAccept-Language: zh-Hans-CN, zh-Hans; q=0.8, en-US; q=0.5, en; q=0.3\r\nConnection: close\r\nHost: %s\r\nUser-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134\r\n\r\n",host);
		
	//recv_len = connect_alipay_new(host,port,sendData,strlen(sendData),recvData,sizeof(recvData));
	recv_len = connect_alipay_fd(host,port,sendData,strlen(sendData),fd);
	close(fd);
	return;

	
	
}

部分代码参考自tinyhttpd https://github.com/EZLippi/Tinyhttpd

下面是用tornado实现的服务端，以分段传输Transfer-Encoding: chunked返回

import tornado
import tornado.web
import os
import socket
import multiprocessing
import time

port = 8888

class IndexHandler(tornado.web.RequestHandler):
	def get(self):
		for i in range(100):
			self.write('A'*0x8000)
			self.flush()

def main():
	sockets = tornado.netutil.bind_sockets(port,family = socket.AF_INET)
	app = tornado.web.Application([(r"/", IndexHandler,),])
	httpd = tornado.httpserver.HTTPServer(app)
	httpd.add_sockets(sockets)
	tornado.ioloop.IOLoop.current().start()

if __name__ == '__main__':
	main()

 

ZRXSLYG
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
C++解析http-chunked数据
Rprop
07-12 4万+
chunked 是http传输过程中常用的一种分块手段, 这里是对chunked数据的简易处理方法，主要是拼接block, 去掉块大小和回车信息即可 static ResponseStream *rlib_parse_chunk_data(char *lp_chunk_data, intptr_t nsize) { auto pstream = new ResponseStream(Utilit
解HTTP协议中的"Transfer-Encoding: chunked"
将总结养成一种习惯
01-24 1377
   通常，HTTP协议中使用Content-Length这个头来告知数据的长度。然后，在数据下行的过程中，Content-Length的方式要预先在服务器中缓存所有数据，然后所有数据再一股脑儿地发给客户端。    如果要一边产生数据，一边发给客户端，WEB 服务器就需要使用"Transfer-Encoding: chunked"这样的方式来代替Content-Length。    "Transf
通过识别Content-Length和Transfer-Encoding实现C++ socket正确接收HTTP数据
tomwillow的博客
06-29 1179
众所周知，HTTP在运输层是TCP协议，所以在socket编程中，一般是初始化socket，解析ip，connect，send，recv的步骤。 send请求头倒是容易，但在recv时就会发生问题。 recv需要传入一个接收大小，但在HTTP协议中，头部并没有包大小，所以这个大小一般作为缓冲区大小使用，例如传入1024 bytes这种。 HTTP丢包的问题 首先我以为通过判断recv返回值，可以得知包是否接收完全，但实践发现，这种方式会产生丢包。例如，包大小实际是2000 B，在第一次recv时，接收到了1
chunked 编码 解码 c算法
yaneng的专栏
07-27 2642
// chunked01.cpp : Defines the entry point for the console application.///****************************************************            Revision Log Entry*    Copyright (C) 2005 YAPCOM Corporation.*
HTTP协议中的Tranfer-Encoding：chunked编码解析
记录生活
09-24 277
    当不能预先确定报文体的长度时，不可能在头中包含Content-Length域来指明报文体长度，此时就需要通过Transfer-Encoding域来确定报文体长度。     通常情况下，Transfer-Encoding域的值应当为chunked,表明采用chunked编码方式来进行报文体的传输。chunked编码是HTTP/1.1 RFC里定义的一种编码方式，因此所有的HTTP/1.1应用...
关于java请求c++遇到transfer encoding=chunked响应RestTemplate的简单处理
qq_42202135的博客
09-08 1711
java后端调用其他服务的接口,响应类型为分块响应,transfer-encoding=chunked的restTemplate的处理方式
C语言 HTTP中的chunked解码实现
weixin_30686845的博客
01-23 904
C语言不像C#一样有很多很多高度的模块化的东西可以使用，在通讯过程中特别是与http相关的通讯过程中可能要对网站返回的数据做一定处理，而且有不少网站的回应是强制性的，例如向网站请求deflate有个能会返回的是gzip的数据。在这过程中与web特性有关的，在服务器构造消息之前可能并不知道或者不方便知道消息的长度，于是就会将消息分为一段段进行传送。 例如如下回应： 不难发现，c...
关于PHP 如何用 curl 读取 HTTP chunked 数据
10-22
在HTTP协议中，`Transfer-Encoding: chunked`是一种用于分块传输编码的方式，常用于服务器无法预先知道响应体总长度的情况。这种方式将响应体分成多个块（chunks），每一块都有一个大小标识，最后以一个零长度的块...
HTTP chunked方式传输的C语言解析示例
11-22
1. **读取头部信息**：首先，你需要解析HTTP响应头，寻找`Transfer-Encoding: chunked`字段，这表明后续的数据将以chunked编码的形式传输。同时，也要注意`Content-Type`头，因为它定义了数据的类型。 2. **理解...
boost之http请求及chunked解析
10-13
这通常涉及读取响应头，找到“Transfer-Encoding: chunked”字段，然后循环读取每个chunk的大小和实际数据。每个chunk的大小是十六进制数字，后面跟着一个回车换行符，接着是chunk的实际数据，再然后是另一个回车换...
c语言 http chunked解码.docx
11-26
然而，当`Content-Length`不可知或缺失时，`Transfer-Encoding`字段就会被用来指示传输编码类型，此时它的值通常是`chunked`。这意味着HTTP响应体将被分成多个块（chunks），每个块都带有自己的长度标识，直到最后一...
java 使用socked接收chunck分块数据
07-03
在HTTP协议中，"Chunked Transfer Encoding"是一种用于无固定长度内容传输的方式，它允许服务器在不知道消息主体的总大小时就开始发送数据。在Java中，处理chunked数据通常涉及到Socket编程，因为Socket是网络通信的...
HTTP1.1中CHUNKED编码解析
学海无涯
10-22 936
一般HTTP通信时，会使用Content-Length头信息性来通知用户代理（通常意义上是浏览器）服务器发送的文档内容长度，该头信息定义于HTTP1.0协议RFC  1945  10.4章节中。浏览器接收到此头信息后，接受完Content-Length中定义的长度字节后开始解析页面，但如果服务端有部分数据延迟发送吗，则会出现浏览器白屏，造成比较糟糕的用户体验。 解决方案是在HTTP1.1协议中，
分块编码(Transfer-Encoding:chunked)
zhangge3663的博客
06-03 1075
参考链接: HTTP协议中的Transfer-Encoding 分块传输编码 一、背景: 1.持续连接的问题:对于非持续连接，浏览器可以通过连接时否关闭来界定请求或响应实体的边界;而对于持续连接，这种方法显然不奏效。有时，尽管我已经发送完所有数据，但浏览器并不知道这一点，它无法得知这个打开的连接上是否还会有新数据进来，只能傻傻地等了。 2.用Content-Lengt...
transfer-encoding chunked , Transfer-Encoding 的作用
lwplvx的专栏
09-02 1413
通过HTTP传送数据时，有些时候并不能事先确定body的长度，因此无法得到Content-Length的值， 就不能在header中指定Content-Length了，造成的最直接的影响就是：接收方无法通过Content-Length得到报文体的长度， 那怎么判断发送方发送完毕了呢？HTTP 1.1协议在header中引入了Transfer-Encoding，当其值为chunked时, 表明采用chunked编码方式来进行报文体的传输 HTTP 1.1中有两个实体头(Entity-Header)直接与编码
C语言实现http下载器（附代码）
yx5666的博客
12-28 2110
例：做OTA升级功能时，我们能直接拿到的往往只是升级包的链接，需要我们自己去下载，这时候就需要用到http下载器。
Transfer-Encoding:chunked 说明
热门推荐
zzhongcy的专栏
03-27 1万+
参考：http://blog.csdn.net/wy5761/article/details/17568851 先说解决方法：：：不让服务器返回Transfer-Encoding:chunked，在客户端请求的时候可以使用http 1.0的协议。 通常，HTTP协议中使用Content-Length这个头来告知数据的长度。然后，在数据下行的过程中，Conte
分块传输编码
轩辕剑仙のBLOG
02-28 1126
转载地址:http://zh.wikipedia.org/wiki/%E5%88%86%E5%9D%97%E4%BC%A0%E8%BE%93%E7%BC%96%E7%A0%81 分块传输编码（Chunked transfer encoding）是超文本传输协议（HTTP）中的一种数据传输机制，允许HTTP由网页服务器发送给客户端应用（ 通常是网页浏览器）的数据可以分成多个部分。分块传
基于JAVA的厨艺交流平台（Vue.js+SpringBoot+MySQL）
最新发布
08-01
基于Vue.js和SpringBoot的厨艺交流平台是一个功能丰富的在线社区，旨在为烹饪爱好者提供一个分享和学习烹饪技巧的平台。该平台分为管理后台和用户网页端，支持管理员和普通用户两种角色。管理后台提供对菜谱分类、菜谱信息、食材信息、商品信息和美食日志模块的全面管理功能，包括添加、编辑、删除和查询等操作。用户网页端则为用户提供了一个友好的界面，可以浏览和搜索各种菜谱，查看食材和商品信息，发表自己的美食日志，与其他用户互动交流。整个平台采用现代化的前端技术和后端框架，保证了良好的用户体验和高效的数据处理能力。 演示录屏：https://www.bilibili.com/video/BV1uz42197zu 配套教程：https://www.bilibili.com/video/BV1pW4y1P7GR
GET http://localhost:8080/query4 HTTP/1.1 400 Content-Type: application/json Transfer-Encoding: chunked Date: Mon, 12 Jun 2023 07:57:25 GMT Connection: close { "timestamp": "2023-06-12T07:57:25.899+00:00", "status": 400, "error": "Bad Request", "path": "/query4" } Response code: 400; Time: 93ms; Content length: 97 bytes
06-13
这个提示信息表明您向本地的8080端口发送了一个GET请求，但是该请求的参数或格式存在问题，无法被正确处理。具体的问题可能需要根据您的代码来确定，但是您可以考虑以下一些常见的解决方案： 1. 检查请求的URL是否正确，特别是查询参数是否正确传递。 2. 检查请求头中的Content-Type是否正确设置，例如是否应该是application/json。 3. 检查请求体中的数据格式是否正确，例如JSON格式是否正确。 4. 检查服务端代码中是否存在问题，例如请求处理函数的参数是否正确解析。 根据上述提示信息，您还可以查看一下响应的时间以及内容长度等信息，进一步确定请求是否得到了正确的响应。希望这些信息和解决方案可以帮助您解决问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值