结构和网络字节流的转换方法

做服务端软件久了,就在思考一个问题。我们使用C++和JAVA作为开发语言,经常要面临一个问题,要将结构或者JAVA类序列化成网络字节流。这里面涉及到,字节对齐,字节序,报文边界等一些问题。JAVA本身就有序列化和反序列化机制,但是C++没有。

大概看了下JAVA的序列化本身,发现他包含很多创建相关的信息,实际上,网络上的流不但包含了纯粹的数据,还包含了数据操作的行为。个人认为,这在对性能要求比较苛刻的环境中,比如行情,游戏中,是无法接受的。但JAVA本身创建的理念就是要在没有本地缓存以及跨平台的环境下也能够运行。那么这个序列化的方法,反而可以理解。

我曾经在自己的博客中《简单报文 》提到GEST协议,这个协议纯粹是负责数据的传输,和数据的描述,不涉及对数据的操作。他的亮点有这么几个:

1、与语言无关,只是纯粹的流数据。

2、具有动态的结构描述功能。动态的结构描述功能,通常只出现在数据库这类,没有固定输入和输出的应用,或者XML进行不同系统之间的数据交换。GEST以自描述的方式,作为架构的基础。

3、协商机制。对于绝大多数的应用来说,在C/S双方来说,传输的数据结构是固定。因此,对于固定结构的数据,可以协商之后,以特定代码表示这类数据。这种场景,是最普遍。在网络上传输的数据是最小的,同时又能保证本地是可以还原出来。

4、嵌套结构。对绝大部分的应用来说,类似数据库那样的表格数据完全足够了,但是,有些数据是被嵌套的。某种类型的数据结构被嵌入另外一个结构之内。

但是,缺点也同样不少。

1、需要会话支持。协商机制只会存在于会话中,没有会话作为基础,协商是没有意义的。

2、不支持对数据的操作。如何操作数据,必须是C/S双方已经定义好了。

 

在一些已经固定应用中,如交易所的行情,存在一种叫做FAST协议的。他还能够依靠上下文中间的关系,传输增量的变化。根据测试,系统的压缩率可以高达70%-80%。而,GEST协议,还少了结构描述信息,在这种应用场景中,能够提供更高的压缩率。当然,这是在特定的环境中。在更大应用范围,依然能够提供足够好的自描述机制和压缩率。

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Linux网络编程(总共41集) 讲解Linux网络编程知识,分以下四个篇章。 Linux网络编程之TCP/IP基础篇 Linux网络编程之socket编程篇 Linux网络编程之进程间通信篇 Linux网络编程之线程篇 Linux网络编程之TCP/IP基础篇 01TCPIP基础(一) ISO/OSI参考模型 TCP/IP四层模型 基本概念(对等通信、封装、分用、端口) 02TCPIP基础(二) 最大传输单元(MTU)/路径MTU 以太网帧格式 ICMP ARP RARP 03TCPIP基础(三) IP数据报格式 网际校验和 路由 04TCPIP基础(四) TCP特点 TCP报文格式 连接建立三次握手 连接终止四次握手 TCP如何保证可靠性 05TCPIP基础(五) 滑动窗口协议 UDP特点 UDP报文格式 Linux网络编程之socket编程篇 06socket编程(一) 什么是socket IPv4套接口地址结构 网络字节序 字节序转换函数 地址转换函数 套接字类型 07socket编程(二) TCP客户/服务器模型 回射客户 /服务器 socket、bind、listen、accept、connect 08socket编程(三) SO_REUSEADDR 处理多客户连接(process-per-conection) 点对点聊天程序实现 09socket编程(四) 流协议与粘包 粘包产生的原因 粘包处理方案 readn writen 回射客户/服务器 10socket编程(五) read、write与recv、send readline实现 用readline实现回射客户/服务器 getsockname、getpeername gethostname、gethostbyname、gethostbyaddr 11socket编程(六) TCP回射客户/服务器 TCP是个流协议 僵进程与SIGCHLD信号 12socket编程(七) TCP 11种状态 连接建立三次握手、连接终止四次握手 TIME_WAIT与SO_REUSEADDR SIGPIPE 13socket编程(八) 五种I/O模型 select 用select改进回射客户端程序 14socket编程(九) select 读、写、异常事件发生条件 用select改进回射服务器程序。 15socket编程(十) 用select改进第八章点对点聊天程序 16socket编程(十一) 套接字I/O超时设置方法 用select实现超时 read_timeout函数封装 write_timeout函数封装 accept_timeout函数封装 connect_timeout函数封装 17socket编程(十二) select限制 poll 18socket编程(十三) epoll使用 epoll与select、poll区别 epoll LT/ET模式 19socket编程(十四) UDP特点 UDP客户/服务基本模型 UDP回射客户/服务器 UDP注意点 20socket编程(十五) udp聊天室实现 21socket编程(十六) UNIX域协议特点 UNIX域地址结构 UNIX域字节流回射客户/服务 UNIX域套接字编程注意点 22socket编程(十七) socketpair sendmsg/recvmsg UNIX域套接字传递描述符字 Linux网络编程之进程间通信篇 23进程间通信介绍(一) 进程同步与进程互斥 进程间通信目的 进程间通信发展 进程间通信分类 进程间共享信息的三种方式 IPC对象的持续性 24进程间通信介绍(二) 死锁 信号量 PV原语 用PV原语解决司机与售票员问题 用PV原语解决民航售票问题 用PV原语解决汽车租赁问题 25System V消息队列(一) 消息队列 IPC对象数据结构 消息队列结构 消息队列在内核中的表示 消息队列函数 26System V消息队列(二) msgsnd函数 msgrcv函数 27System V消息队列(三) 消息队列实现回射客户/服务器 28共享内存介绍 共享内存 共享内存示意图 管道、消息队列与共享内存传递数据对比 mmap函数 munmap函数 msync函数 29System V共享内存 共享内存数据结构 共享内存函数 共享内存示例 30System V信号量(一) 信号量 信号量集结构 信号量集函数 信号量示例 31System V信号量(二) 用信号量实现进程互斥示例 32System V信号量(三) 用信号集解决哲学家就餐问题 33System V共享内存与信号量综合 用信号量解决生产者消费者问题 实现shmfifo 34POSIX消息队列 POSIX消息队列相关函数 POSIX消息队列示例 35POSIX共享内存 POSIX共享内存相关函数 POSIX共享内存示例 Linux网络编程之线程篇 36线程介绍 什么是线程 进程与线程 线程优缺点 线程模型 N:1用户线程模型 1:1核心线程模型 N:M混合线程模型 37POSIX线程(一) POSIX线程库相关函数 用线程实现回射客户/服务器 38POSIX线程(二) 线程属性 线程特定数据 39POSIX信号量与互斥锁 POSIX信号量相关函数 POSIX互斥锁相关函数 生产者消费者问题 自旋锁与读写锁介绍 40POSIX条件变量 条件变量 条件变量函数 条件变量使用规范 使用条件变量解决生产者消费者问题 41一个简单的线程池实现 线程池性能分析 线程池实现 网络编程, Linux
### 回答1: 对于您的问题,我可以回答。将C结构体转换为二进制流,您可以使用以下方法: 1.使用memcpy()函数将结构体变量的内容复制到一个字符数组中。然后使用fwrite()函数将该字符数组写入文件或套接字。 例如: ```c struct MyStruct { int a; float b; char c; }; //将结构体变量转换为二进制流 struct MyStruct s; char buffer[sizeof(struct MyStruct)]; memcpy(buffer, &s, sizeof(struct MyStruct)); //将二进制流写入文件 FILE *fp; fp = fopen("output.bin", "wb"); fwrite(buffer, sizeof(struct MyStruct), 1, fp); fclose(fp); ``` 2.使用一个打包库,如Google的protobuf或Apache Thrift,可以将结构体序列化为二进制流,并且可以跨语言进行交互。 例如,使用protobuf库: ```c //定义protobuf消息 message MyMessage { int32 a = 1; float b = 2; string c = 3; } //将结构体转换为protobuf消息 struct MyStruct s; MyMessage msg; msg.set_a(s.a); msg.set_b(s.b); msg.set_c(string(1, s.c)); //将protobuf消息序列化为二进制流 string output; msg.SerializeToString(&output); ``` 希望这些信息可以帮助到您。 ### 回答2: 在C语言中,通过使用struct结构体可以定义一种数据结构,该结构体可以包含不同类型的成员变量。当需要将这个结构体转换成二进制流时,可以使用以下步骤: 1. 创建一个struct结构体对象,并对其成员变量进行赋值。 2. 创建一个指向该结构体对象的指针。 3. 使用sizeof运算符来获取结构体对象的大小,这将用于后续的二进制流缓冲区的分配。 4. 分配一个大小为结构体大小的二进制流缓冲区,可以使用malloc函数动态分配内存。 5. 将struct结构体指针转换为一个指向无类型(void)的指针。 6. 使用memcpy函数将struct结构体指针所指的内存块中的数据拷贝到二进制流缓冲区中。 7. 现在,二进制流已经存储在缓冲区中,可以对其进行读写或者进行网络传输等操作。 8. 在结束使用后,记得使用free函数释放之前动态分配的内存空间,以避免内存泄露。 总结:通过以上步骤,我们可以将struct结构体转换成二进制流。建立结构体对象,指向它的指针,用sizeof运算符获取大小,动态分配缓冲区,使用memcpy函数拷贝数据,把结构体转换为二进制流。最后进行相应的操作后,使用free函数释放内存。 ### 回答3: 在C语言中,可以使用`struct`结构体来定义一组相关的变量,并将它们作为一个整体进行处理。而将结构体转换为二进制流,在网络编程中是非常常见的操作。 要将`struct`结构体转换为二进制流,可以使用`memcpy`函数来实现。首先,我们可以定义一个结构体类型,例如: ```c typedef struct { int id; char name[20]; float score; } Student; ``` 接下来,我们可以创建一个`Student`类型的结构体变量,并给其成员赋值。然后,可以通过`memcpy`函数将结构体变量的数据拷贝到一个字节数组中,即转换为二进制流: ```c Student student; student.id = 1; strcpy(student.name, "Tom"); student.score = 90.5; char buffer[sizeof(Student)]; memcpy(buffer, &student, sizeof(Student)); ``` 上述代码中,`buffer`是一个与结构体大小相等的字节数组。`memcpy`函数将`student`变量的数据拷贝到`buffer`数组中。 如果需要将二进制流转换回`struct`结构体,可以使用相反的步骤。先创建一个目标结构体类型的变量,再通过`memcpy`函数将二进制流的数据拷贝到该变量中: ```c Student student2; memcpy(&student2, buffer, sizeof(Student)); printf("Student ID: %d\n", student2.id); printf("Student Name: %s\n", student2.name); printf("Student Score: %.1f\n", student2.score); ``` 通过上述代码,我们可以将二进制流再转换回原来的结构体变量并打印出来。 总之,通过使用`memcpy`函数,我们可以在C语言中方便地将结构体转换为二进制流,并在需要时将其转换回来。这在网络传输、文件IO等场景中都非常有用。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值