套接口
在本专题的前面几个部分,如消息队列、信号灯、共享内存等,都是基于 Sys V 的 IPC 机制进行讨论的,它们的应用局限在单一计算机内的进程间通信;基于 BSD 套接口不仅可以实现单机内的进程间通信,还可以实现不同计算机进程之间的通信。本文将主要介绍 BSD 套接口( sockets ),以及基于套接口的重要而基本的 API 。
一个套接口可以看作是进程间通信的端点( endpoint ),每个套接口的名字都是唯一的(唯一的含义是不言而喻的),其他进程可以发现、连接并且与之通信。通信域用来说明套接口通信的协议,不同的通信域有不同的通信协议以及套接口的地址结构等等,因此,创建一个套接口时,要指明它的通信域。比较常见的是 unix 域套接口(采用套接口机制实现单机内的进程间通信)及网际通信域。
1 、背景知识
linux 目前的网络内核代码主要基于伯克利的 BSD 的 unix 实现,整个结构采用的是一种面向对象的分层机制。层与层之间有严格的接口定义。这里我们引用 [1] 中的一个图表来描述 linux 支持的一些通信协议:
我们这里只关心 IPS ,即因特网协议族,也就是通常所说的 TCP/IP 网络。我们这里假设读者具有网络方面的一些背景知识,如了解网络的分层结构,通常所说的 7 层结构;了解 IP 地址以及路由的一些基本知识。
目前 linux 网络 API 是基于 BSD 套接口的(系统 V 提供基于流 I/O 子系统的用户接口,但是 linux 内核目前不支持流 I/O 子系统)。套接口可以说是网络编程中一个非常重要的概念, linux 以文件的形式实现套接口,与套接口相应的文件属于 sockfs 特殊文件系统,创建一个套接口就是在 sockfs 中创建一个特殊文件,并建立起为实现套接口功能的相关数据结构。换句话说,对每一个新创建的 BSD 套接口, linux 内核都将在 sockfs 特殊文件系统中创建一个新的 inode 。描述套接口的数据结构是 socket ,将在后面给出。
2 、重要数据结构
下面是在网络编程中比较重要的几个数据结构,读者可以在后面介绍编程 API 部分再回过头来了解它们。
( 1 )表示套接口的数据结构 struct socket
套接口是由 socket 数据结构代表的,形式如下:
struct socket { socket_state state; /* 指明套接口的连接状态,一个套接口的连接状态可以有以下几种 套接口是空闲的,还没有进行相应的端口及地址的绑定;还没有连接;正在连接中;已经连接;正在解除连接。 */ unsigned long flags; struct proto_ops ops; /* 指明可对套接口进行的各种操作 */ struct inode inode; /* 指向 sockfs 文件系统中的相应 inode */ struct fasync_struct *fasync_list; /* Asynchronous wake up list */ struct file *file; /* 指向 sockfs 文件系统中的相应文件 */ struct sock sk; /* 任何协议族都有其特定的套接口特性,该域就指向特定协议族的套接口对 象。 */ wait_queue_head_t wait; short type; unsigned char passcred; }; |
( 2 )描述套接口通用地址的数据结构 struct sockaddr
由于历史的缘故,在 bind 、 connect 等系统调用中,特定于协议的套接口地址结构指针都要强制转换成该通用的套接口地址结构指针。结构形式如下:
struct sockaddr { sa_family_t sa_family; /* address family, AF_xxx */ char sa_data[14]; /* 14 bytes of protocol address */ };
|
( 3 )描述因特网地址结构的数据结构 struct sockaddr_in (这里局限于 IP4 ):
struct sockaddr_in { __SOCKADDR_COMMON (sin_); /* 描述协议族 */ in_port_t sin_port; /* 端口号 */ struct in_addr sin_addr; /* 因特网地址 */ /* Pad to size of `struct sockaddr'. */ unsigned char sin_zero[sizeof (struct sockaddr) - __SOCKADDR_COMMON_SIZE - sizeof (in_port_t) - sizeof (struct in_addr)]; };
|
一般来说,读者最关心的是前三个域,即通信协议、端口号及地址。
3 、套接口编程的几个重要步骤:
( 1 )创建套接口,由系统调用 socket 实现:
int socket( int domain, int type, int ptotocol);
|
参数 domain 指明通信域,如 PF_UNIX ( unix 域), PF_INET ( IPv4 ), PF_INET6(IPv6) 等; type 指明通信类型,如 SOCK_STREAM( 面向连接方式 ) 、 SOCK_DGRAM( 非面向连接方式 ) 等。一般来说,参数 protocol 可设置为 0 ,除非用在原始套接口上(原始套接口有一些特殊功能,后面还将介绍)。
注: socket ()系统调用为套接口在 sockfs 文件系统中分配一个新的文件和 dentry 对象,并通过文件描述符把它们与调用进程联系起来。进程可以像访问一个已经打开的文件一样访问套接口在 sockfs 中的对应文件。但进程绝不能调用 open() 来访问该文件( sockfs 文件系统没有可视安装点,其中的文件永远不会出现在系统目录树上),当套接口被关闭时,内核会自动删除 sockfs 中的 inodes 。
( 2 )绑定地址
根据传输层协议( TCP 、 UDP )的不同,客户机及服务器的处理方式也有很大不同。但是,不管通信双方使用何种传输协议,都需要一种标识自己的机制。
通信双方一般由两个方面标识:地址和端口号(通常,一个 IP 地址和一个端口号常常被称为一个套接口)。根据地址可以寻址到主机,根据端口号则可以寻址到主机提供特定服务的进程,实际上,一个特定的端口号代表了一个提供特定服务的进程。
对于使用 TCP 传输协议通信方式来说,通信双方需要给自己绑定一个唯一标识自己的套接口,以便建立连接;对于使用 UDP 传输协议,只需要服务器绑定一个标识自己的套接口就可以了,用户则不需要绑定 ( 在需要时,如调用 connect 时 [ 注 1] ,内核会自动分配一个本地地址和本地端口号 ) 。绑定操作由系统调用 bind() 完成:
int bind( int sockfd, const struct sockaddr * my_addr, socklen_t my_addr_len)
|
第二个参数对于 Ipv4 来说,实际上需要填充的结构是 struct sockaddr_in ,前面已经介绍了该结构。这里只想强调该结构的第一个域,它表明该套接口使用的通信协议,如 AF_INET 。联系 socket 系统调用的第一个参数,读者可能会想到 PF_INET 与 AF_INET 究竟有什么不同?实际上,原来的想法是每个通信域(如 PF_INET )可能对应多个协议(如 AF_INET ),而事实上支持多个协议的通信域一直没有实现。因此,在 linux 内核中, AF_*** 与 PF_*** 被定义为同一个常数,因此,在编程时可以不加区分地使用他们。
注 1 : 在采用非面向连接通信方式时,也会用到 connect() 调用,不过与在面向连接中的 connect ()调用有本质的区别:在非面向连接通信中, connect 调用只是先设置一下对方的地址,内核为本地套接口记下对方的地址,然后采用 send() 来发送数据,这样避免每次发送时都要提供相同的目的地址。其中的 connect() 调用不涉及握手过程;而在面向连接的通信方式中, connect() 要完成一个严格的握手过程。
( 3 )请求建立连接(由 TCP 客户发起)
对于采用面向连接的传输协议 TCP 实现通信来说,一个比较重要的步骤就是通信双方建立连接(如果采用 udp 传输协议则不需要),由系统调用 connect() 完成:
int connect( int sockfd, const struct sockaddr * servaddr, socklen_t addrlen)
|
第一个参数为本地调用 socket 后返回的描述符,第二个参数为服务器的地址结构指针。 connect ()向指定的套接口请求建立连接。
注: 与 connect ()相对应,在服务器端,通过系统调用 listen() ,指定服务器端的套接口为监听套接口,监听每一个向服务器套接口发出的连接请求,并通过握手机制建立连接。内核为 listen() 维护两个队列:已完成连接队列和未完成连接队列。
( 4 )接受连接请求(由 TCP 服务器端发起)
服务器端通过监听套接口,为所有连接请求建立了两个队列:已完成连接队列和未完成连接队列(每个监听套接口都对应这样两个队列,当然,一般服务器只有一个监听套接口)。通过 accept() 调用,服务器将在监听套接口的已连接队列头中,返回用于代表当前连接的套接口描述字。
int accept( int sockfd, struct sockaddr * cliaddr, socklen_t * addrlen)
|
第一个参数指明哪个监听套接口,一般是由 listen ()系统调用指定的(由于每个监听套接口都对应已连接和未连接两个队列,因此它的内部机制实质是通过 sockfd 指定在哪个已连接队列头中返回一个用于当前客户的连接,如果相应的已连接队列为空, accept 进入睡眠)。第二个参数指明客户的地址结构,如果对客户的身份不感兴趣,可指定其为空。
注: 对于采用 TCP 传输协议进行通信的服务器和客户机来说,一定要经过客户请求建立连接,服务器接受连接请求这一过程;而对采用 UDP 传输协议的通信双方则不需要这一步骤。
( 5 )通信
客户机可以通过套接口接收服务器传过来的数据,也可以通过套接口向服务器发送数据。前面所有的准备工作(创建套接口、绑定等操作)都是为这一步骤准备的。
常用的从套接口中接收数据的调用有: recv 、 recvfrom 、 recvmsg 等,常用的向套接口中发送数据的调用有 send 、 sendto 、 sendmsg 等。
int recv(int s, void * buf , size_t len , int flags ) int recvfrom(int s, void * buf , size_t len , int flags , struct sockaddr * from , socklen_t * fromlen ) int recvmsg(int s, struct msghdr * msg , int flags ) int send(int s,const void * msg , size_t len , int flags ) int sendto(int s, const void * msg , size_t len , int flags const struct sockaddr * to , socklen_t tolen ) int sendmsg(int s, const struct msghdr * msg , int flags )
|
这里不再对这些调用作具体的说明,只想强调一下, recvfrom ()以及 recvmsg ()可用于面向连接的套接口,也可用于面向非连接的套接口;而 recv ()一般用于面向连接的套接口。另外,在调用了 connect() 之后,就应给调用 send() 而不是 sendto() 了,因为调用了 connect 之后,目标就已经确定了。
前面讲到, socket ()系统调用返回套接口描述字,实际上它是一个文件描述符。所以,可以对套接口进行通常的读写操作,即使用 read() 及 write() 方法。在实际应用中,由于面向连接的通信(采用 TCP 传输协议)是可靠的,同时又保证字节流原有的顺序,所以更适合用 read 及 write 方法。而非面向连接的通信(采用 UDP 传输协议)是不可靠的,字节流也不一定保持原有的顺序,所以一般不宜用 read 及 write 方法。
( 6 )通信的最后一步是关闭套接口
由 close() 来完成此项功能,它唯一的参数是套接口描述字,不再赘述。
4 、典型调用代码:
到处可以发现基于套接口的客户机及服务器程序,这里不再给出完整的范例代码,只是给出它们的典型调用代码,并给出简要说明。
( 1 )典型的 TCP 服务器代码:
... ... int listen_fd, connect_fd; struct sockaddr_in serv_addr, client_addr; ... ... listen_fd = socket ( PF_INET, SOCK_STREAM, 0 ); /* 创建网际 Ipv4 域的(由 PF_INET 指定)面向连接的(由 SOCK_STREAM 指定,如果创建非面向连接的套接口则指定为 SOCK_DGRAM ) 的套接口。第三个参数 0 表示由内核确定缺省的传输协议, 对于本例,由于创建的是可靠的面向连接的基于流的套接口,内核将选择 TCP 作为本套接口的传输协议) */ bzero( &serv_addr, sizeof(serv_addr) ); serv_addr.sin_family = AF_INET ; /* 指明通信协议族 */ serv_addr.sin_port = htons( 49152 ) ; /* 分配端口号 */ inet_pton(AF_INET, " 192.168.0.11", &serv_addr.sin_sddr) ; /* 分配地址,把点分十进制 IPv4 地址转化为 32 位二进制 Ipv4 地址。 */ bind( listen_fd, (struct sockaddr*) serv_addr, sizeof ( struct sockaddr_in )) ; /* 实现绑定操作 */ listen( listen_fd, max_num) ; /* 套接口进入侦听状态, max_num 规定了内核为此套接口排队的最大连接个数 */ for( ; ; ) { ... ... connect_fd = accept( listen_fd, (struct sockaddr*)client_addr, &len ) ; /* 获得连接 fd. */ ... ... /* 发送和接收数据 */ } |
注: 端口号的分配是有一些惯例的,不同的端口号对应不同的服务或进程。比如一般都把端口号 21 分配给 FTP 服务器的 TCP/IP 实现。端口号一般分为 3 段, 0-1023 (受限的众所周知的端口,由分配数值的权威机构 IANA 管理), 1024-49151 (可以从 IANA 那里申请注册的端口), 49152-65535 (临时端口,这就是为什么代码中的端口号为 49152 )。
对于多字节整数在内存中有两种存储方式:一种是低字节在前,高字节在后,这样的存储顺序被称为低端字节序( little-endian );高字节在前,低字节在后的存储顺序则被称为高端字节序( big-endian )。网络协议在处理多字节整数时,采用的是高端字节序,而不同的主机可能采用不同的字节序。因此在编程时一定要考虑主机字节序与网络字节序间的相互转换。这就是程序中使用 htons 函数的原因,它返回网络字节序的整数。
( 2 )典型的 TCP 客户代码:
... ... int socket_fd; struct sockaddr_in serv_addr ; ... ... socket_fd = socket ( PF_INET, SOCK_STREAM, 0 ); bzero( &serv_addr, sizeof(serv_addr) ); serv_addr.sin_family = AF_INET ; /* 指明通信协议族 */ serv_addr.sin_port = htons( 49152 ) ; /* 分配端口号 */ inet_pton(AF_INET, " 192.168.0.11", &serv_addr.sin_sddr) ; /* 分配地址,把点分十进制 IPv4 地址转化为 32 位二进制 Ipv4 地址。 */ connect( socket_fd, (struct sockaddr*)serv_addr, sizeof( serv_addr ) ) ; /* 向服务器发起连接请求 */ ... ... /* 发送和接收数据 */ ... ...
|
对比两段代码可以看出,许多调用是服务器或客户机所特有的。另外,对于非面向连接的传输协议,代码还有简单些,没有连接的发起请求和接收请求部分。
5 、网络编程中的其他重要概念
下面列出了网络编程中的其他重要概念,基本上都是给出这些概念能够实现的功能,读者在编程过程中如果需要这些功能,可查阅相关概念。
( 1 )、 I/O 复用的概念
I/O 复用提供一种能力,这种能力使得当一个 I/O 条件满足时,进程能够及时得到这个信息。 I/O 复用一般应用在进程需要处理多个描述字的场合。它的一个优势在于,进程不是阻塞在真正的 I/O 调用上,而是阻塞在 select() 调用上, select() 可以同时处理多个描述字,如果它所处理的所有描述字的 I/O 都没有处于准备好的状态,那么将阻塞;如果有一个或多个描述字 I/O 处于准备好状态,则 select() 不阻塞,同时会根据准备好的特定描述字采取相应的 I/O 操作。
( 2 )、 Unix 通信域
前面主要介绍的是 PF_INET 通信域,实现网际间的进程间通信。基于 Unix 通信域(调用 socket 时指定通信域为 PF_LOCAL 即可)的套接口可以实现单机之间的进程间通信。采用 Unix 通信域套接口有几个好处: Unix 通信域套接口通常是 TCP 套接口速度的两倍;另一个好处是,通过 Unix 通信域套接口可以实现在进程间传递描述字。所有可用描述字描述的对象,如文件、管道、有名管道及套接口等,在我们以某种方式得到该对象的描述字后,都可以通过基于 Unix 域的套接口来实现对描述字的传递。接收进程收到的描述字值不一定与发送进程传递的值一致(描述字是特定于进程的),但是特们指向内核文件表中相同的项。
( 3 )、原始套接口
原始套接口提供一般套接口所不提供的功能:
- 原始套接口可以读写一些用于控制的控制协议分组,如 ICMPv4 等,进而可实现一些特殊功能。
- 原始套接口可以读写特殊的 IPv4 数据包。内核一般只处理几个特定协议字段的数据包,那么一些需要不同协议字段的数据包就需要通过原始套接口对其进行读写;
- 通过原始套接口可以构造自己的 Ipv4 头部,也是比较有意思的一点。
创建原始套接口需要 root 权限。
( 4 )、对数据链路层的访问
对数据链路层的访问,使得用户可以侦听本地电缆上的所有分组,而不需要使用任何特殊的硬件设备,在 linux 下读取数据链路层分组需要创建 SOCK_PACKET 类型的套接口,并需要有 root 权限。
( 5 )、带外数据( out-of-band data )
如果有一些重要信息要立刻通过套接口发送(不经过排队),请查阅与带外数据相关的文献。
( 6 )、多播
linux 内核支持多播,但是在默认状态下,多数 linux 系统都关闭了对多播的支持。因此,为了实现多播,可能需要重新配置并编译内核。具体请参考 [4] 及 [2] 。
结论: linux 套接口编程的内容可以说是极大丰富,同时它涉及到许多的网络背景知识,有兴趣的读者可在 [2] 中找到比较系统而全面的介绍。
至此,本专题系列( linux 环境进程间通信)全部结束了。实际上,进程间通信的一般意义通常指的是消息队列、信号灯和共享内存,可以是 posix 的,也可以是 SYS v 的。本系列同时介绍了管道、有名管道、信号以及套接口等,是更为一般意义上的进程间通信机制。