Linux-网编程络

1.TCP/IP理论协议

1.1协议栈

Linux的优点之一就是在于它丰富而稳定的网络协议栈，其范围是从协议无关层（如通用的socket层接口和设备层）到各种网络协议的实现；

1.2协议介绍

对于网络理论介绍一般采用OSI模型，但是Linux中网络栈的介绍一般分为四层的Internet模型

 

第七层：应用层 数据用户接口，提供用户程序“接口”。

第六层：表示层 数据 数据的表现形式，特定功能的实现，如数据加密。

第五层：会话层 数据允许不同机器上的用户之间建立会话关系，如WINDOWS

第四层：传输层 段 实现网络不同主机上用户进程之间的数据通信，可靠

     与不可靠的传输，传输层的错误检测，流量控制等。

第三层：网络层 包提供逻辑地址（IP）、选路，数据从源端到目的端的

     传输

第二层：数据链路层 帧 将上层数据封装成帧，用MAC地址访问媒介，错误检测与修正。

第一层：物理层 比特流 设备之间比特流的传输，物理接口，电气特性等。

 

 

1.3数据的封装图

 

 

1.4TCP/IP协议族

TCP/IP 实际上一个协同工作的通信家族，为网络数据通信提供通路。为讨论方便可TCP/IP协议组大体上分为三部分：

1、Internet协议（IP）

2、传输控制协议（TCP）和用户数据报协议（UDP）

3、处于 TCP和 UDP之上的一组应用协议。它们包括：TELNET，文件传送协议（FTP），域名服务（DNS）和简单的邮件传送程序（SMTP）等

 

1.5网络层

第一部分称为网络层。主要包括Internet 协议（IP）、网际控制报文协议（ICMP：Internet Control Messages Protocol ）和地址解析协议（ARP：Address Resolution Protocol ）

Internet 协议（IP：Internet Protocol ）

该协议被设计成互联分组交换通信网，以形成一个网际通信环境。它负责在源主机和目的地主机之间传输来自其较高层软件的称为数据报文的数据块，它在源和目的地之间提供非连接型传递服务

 

网际控制报文协议（ICMP）

它实际上不是IP层部分，但直接同IP层一起工作，报告网络上的某些出错情况。允许网际路由器传输差错信息或测试报文。

地址解析协议（ARP）

ARP 实际上不是网络层部分，它处于IP和数据链路层之间，它是在32位IP地址和48位物理地址之间执行翻译的协议

 

 

 

1.6传输层协议

第二部分是传输层协议，包括传输控制协议和用户数据报文协议

传输控制协议（TCP）：

该协议对建立网络上用户进程之间的对话负责，它确保进程之间的可靠通信，所提供的功能如下：

                1.监听输入对话建立请求

                2.请求另一网络站点对话

                3.可靠的发送和接收数据

                4.适度的关闭对话

 

用户数据报文协议（UDP）：

UDP 提供不可靠的非连接型传输层服务，它允许在源和目的地之间传送数据，而不必在传送数据之前建立对话。它主要用于那些非连接型的应用程序，如：视频点播

 

1.7应用协议层

这部分主要包括Telnet，文件传送协议（FTP和TFTP），简单文件传送协议（SMTP）和域名服务（DNS）等协议

 

1.8 IP协议

IP主要有以下四个主要功能：

数据传送 、寻址、路由选择 、数据报文的分段

 

IP的主要目的

是为数据输入/输出网络提供基本算法，为高层协议提供无连接的传送服务.这意味着在IP将数据递交给接收站点以前不在传输站点和接收站点之间建立对话。它只是封装和传递数据，但不向发送者或接收者报告包的状态，不处理所遇到的故障

 

IP包由IP协议头与协议数据两部分构成

 

 

1.9 TCP 协议

TCP是重要的传输层协议，目的是允许数据同网络上的其他节点进行可靠的交换。它能提供端口编号的译码，以识别主机的应用程序，而且完成数据的可靠传输TCP协议具有严格的内装差错检验算法确保数据的完整性TCP是面向字节的顺序协议，这意味着包内的每个字节被分配一个顺序编号，并分配给每包一个顺序编号

 

TCP协议头

 

 

 

1.10 UDP

UDP也是传输层协议，它是无连接的，不可靠的传输服务.当接收数据时它不向发送方提供确认信息，它不提供输入包的顺序，如果出现丢失包或重份包的情况，也不会向发送方发出差错报文.由于它执行功能时具有较低的开销，因而执行速度比TCP快

 

UDP协议头

 

 

 

Linux网络程序设计

 

1.11socket

Linux中的网络编程通过Socket(套接字)接口实现，Socket是一种文件描述符

套接字socket有三种类型：

流式套接字（SOCK_STREAM）

流式的套接字可以提供可靠的、面向连接的通讯流。它使用了TCP协议。TCP保证了数据传输的正确性和顺序性

数据报套接字（SOCK_DGRAM）

 数据报套接字定义了一种无连接的服务，数据通过相互独立的报文进行传输，是无序的，并且不保证可靠，无差错校验,它使用数据报协议UDP。

原始套接字

原始套接字允许对低层协议   如IP或ICMP直接访问，主要用于新的网络协议的测试等

1.12地址结构

     struct sockaddr

     {

u_short sa_family;

char sa_data[14];

      }；

    Sa_family:

    地址族，采用“AF_xxx”的形式，如：AF_INET  

    Sa_data：

14字节的特定协议地址

 

 struct sockaddr_in

    {

       short int sin_family;  /* Internet地址族 */

       unsigned short int sin_port;  /* 端口号 */

       struct in_addr sin_addr;   /* IP地址 */

       unsigned char sin_zero[8];  /* 填0 */

     }；

编程中一般并不直接针对sockaddr数据结构操作，而是使用与sockaddr等价的sockaddr_in数据结构

 

   struct in_addr

   {

    unsigned long s_addr;

    }

S_addr: 32位的地址

 

 

 

 

IP地址通常由数字加点(192.168.0.1)的形式表示，而在struct in_addr中使用的是IP地址是由32位的整数表示的，为了转换我们可以使用下面两个函数：

int inet_aton(const char *cp,struct in_addr *inp)

 char *inet_ntoa(struct in_addr in)

 

 函数里面 a 代表 ascii n 代表network.第一个函数表示将a.b.c.d形式的IP转换为32位的IP,存储在inp指针里面。第二个是将32位IP转换为a.b.c.d的格式

 

 

1.23IP与主机名

 

 

1.24字节序的转换

不同类型的 CPU对变量的字节存储顺序可能不同：有的系统是高位在前，低位在后，而有的系统是低位在前，高位在后，而网络传输的数据顺序是一定要统一的。所以当内部字节存储顺序和网络字节顺序不同时，就一定要进行转换

 

 

 

 

如果我们将0x1234abcd 写入到以0x0000 开始的内存中，则Little endian和Big endian模式的存放结果如下：

 

 

地址	0x0000	0x0001	0x0002	0x0003
big-endian	0x12	0x34	0xab	0xcd
little-endian	0xcd	0xab	0x34	0x12

 

网络字节顺序是TCP/IP中规定好的一种数据表示格式，它与具体的CPU类型、操作系统等无关，从而可以保证数据在不同主机之间传输时能够被正确解释。

网络字节顺序采用big endian排序方式

 

 

为什么要进行字节序转换？

例：INTEL的CPU使用的小端字节序MOTOROLA 68k系列CPU使用的是大端字节序MOTOROLA发一个16位数据0X1234给INTEL,传到INTEL时,就被INTEL解释为0X3412

 

 

#include <arpa/inet.h>

uint32_t htonl(uint32_t hostlong);

uint16_t htons(uint16_t hostshort);

 uint32_t ntohl(uint32_t netlong);

uint16_t ntohs(uint16_t netshort);

  这些函数名很好记，h表示host，n表示network，l表示32位长整数，s表示16位短整数。例如htonl表示将32位的长整数从主机字节序转换为网络字节序，例如将IP地址转换后准备发送。如果主机是小端字节序，这些函数将参数做相应的大小端转换然后返回，如果主机是大端字节序，这些函数不做转换，将参数原封不动地返回

 

Htons  ：把unsigned short类型从主机序转换到网络序

Htonl  ：把unsigned long类型从主机序转换到网络序

Ntohs  ：把unsigned short类型从网络序转换到主机序

Ntohl   ：把unsigned long类型从网络序转换到主机序

 

 

 

 

 

1.25函数

进行Socket编程的常用函数有：

socket

创建一个socket

bind

用于绑定IP地址和端口号到socket

connect

该函数用于绑定之后的client端与服务器建立连接

listen

   设置能处理的最大连接要求，Listen()并未开始接收连线，只是设置socket为listen模式。

accept

   用来接受socket连接。

send

  发送数据

recv

  接收数据

 

1.26sock的建立

int socket(int family, int type, int protocol);

socket()打开一个网络通讯端口，如果成功的话，就像open()一样返回一个文件描述符，应用程序可以像读写文件一样用read/write在网络上收发数据，如果socket()调用出错则返回-1

对于IPv4，family参数指定为AF_INET

对于TCP协议，type参数指定SOCK_STREAM，表示面向流的传输协议如果是UDP协议，则type参数指定为SOCK_DGRAM，表示面向数据报的传输协议

protocol参数的介绍从略，指定为0即可

 

1.27bind绑定

int bind(int sockfd, const struct sockaddr *myaddr, socklen_t addrlen);

服务器程序所监听的网络地址和端口号通常是固定不变的，客户端程序得知服务器程序的地址和端口号后就可以向服务器发起连接，因此服务器需要调用bind绑定一个固定的网络地址和端口号.bind()成功返回0，失败返回-1。

bind()的作用是将参数sockfd和myaddr绑定在一起，使   sockfd这个用于网络通讯的文件描述符监听myaddr所描述的地址和端口号

struct sockaddr *是一个通用指针类型，myaddr参数实际上可以接受多种协议的sockaddr结构体，而它们的长度各不相同，所以需要第三个参数addrlen指定结构体的长度

 

1.28无法绑定

client终止时自动关闭socket描述符，server的TCP（传输层）连接收到client发的FIN段后处于TIME_WAIT状态。TCP协议规定，主动关闭连接的一方要处于TIME_WAIT状态，等待两个MSL（maximum segment lifetime）的时间后才能回到CLOSED状态，因为我们先Ctrl-C终止了server，所以server是主动关闭连接的一方，在TIME_WAIT期间仍然不能再次监听同样的server端口。MSL在RFC1122中规定为两分钟，但是各操作系统的实现不同，在Linux上一般经过半分钟后就可以再次启动server了。

在server的TCP连接没有完全断开之前不允许重新监听是不合理的，因为，TCP连接没有完全断开指的是connfd（127.0.0.1:8000）没有完全断开，而我们重新监听的是listenfd（0.0.0.0:8000），虽然是占用同一个端口，但IP地址不同，connfd对应的是不某个客户端通讯的一个具体的IP地址，而listenfd对应的是wildcard address。解决这个问题的方法是使用setsockopt()设置socket描述符的选项SO_REUSEADDR为1，表示允许创建端口号相同但IP地址不同的多个socket描述符。

 

1.29setsockopt

在server代码的socket()和bind()调用之间插入如下代码：

int opt = 1;

setsockopt(listenfd, SOL_SOCKET, SO_REUSEADDR, &opt, sizeof(opt));

 

1.30 sockaddr_in初始化

bzero(&servaddr, sizeof(servaddr));

servaddr.sin_family = AF_INET;

servaddr.sin_addr.s_addr = htonl(INADDR_ANY);

servaddr.sin_port = htons(SERV_PORT);

首先将整个结构体清零，然后设置地址类型为AF_INET，网络地址为INADDR_ANY，这个宏表示本地的任意IP地址，因为服务器可能有多个网卡，每个网卡也可能绑定多个IP地址，这样设置可以在所有的IP地址上监听，直到与某个客户端建立了连接时才确定下来到底用哪个IP地址，端口号为SERV_PORT，我们定义为8000

 

1.31Accept连接

int accept(int sockfd, struct sockaddr *cliaddr, socklen_t *addrlen);

socket 完成后，服务器调用accept()接受连接，如果服务器调用accept()时还没有客户端的连接请求，就阻塞等待直到有客户端连接上来,cliaddr是一个传出参数，accept()返回时传出客户端的地址和端口号.addrlen参数是一个传入传出参数（value-result argument），传入的是调用者提供的缓冲区cliaddr的长度以避免缓冲区溢出问题，传出的是客户端地址结构体的实际长度（有可能没有占满调用者提供的缓冲区）。

如果给cliaddr参数传NULL，表示不关心客户端的地址

 

1.32 connect连接

int connect(int sockfd, const struct sockaddr *servaddr, socklen_t addrlen);

客户端需要调用connect()连接服务器，connect和bind的参数形式一致，区别在于bind的参数是自己的地址，而connect的参数是对方的地址.

connect()成功返回0，出错返回-1

 

 

1.33基于TCP_服务器

1. 创建一个socket，用函数socket()

2. 绑定IP地址、端口等信息到socket上，用函数bind()

3.设置允许的最大连接数，用函数listen()

4.接收客户端上来的连接，用函数accept()

5.收发数据，用函数send()和recv()，或者read()和write()

6.关闭网络连接

 

1.34基于TCP_客户端

1.创建一个socket，用函数socket()

2.设置要连接的对方的IP地址和端口等属性

3.连接服务器，用函数connect()

4.收发数据，用函数send()和recv()，或者

read()和write()

5.关闭网络连接

 

1.35 基于UDP-服务器

1.创建一个socket，用函数socket()

2.绑定IP地址、端口等信息到socket上，用函数bind()

3.循环接收数据，用函数recvfrom()

4.关闭网络连接

 

1.36基于UDP-客户端

1.创建一个socket，用函数socket()

2.发送数据，用函数sendto()

3.关闭网络连接

 

#include <sys/socket.h>

ssize_t recvfrom(int sockfd, void *buff, size_t nbytes, int flags, struct sockaddr *from, socklen_t *addrlen);

ssize_t sendto(int sockfd, const void *buff, size_t nbytes, int flags, const struct sockaddr *to, socklen_t addrlen);

Both return: number of bytes read or written if OK, –1 on error

    这两个函数的前3个参数和read()、write()相同。

    flags通常取0。

recvfrom()的最后两个参数和accept()类似；sendto()的最后两个参数和connect()类似。

 

1.37服务器模型

在网络程序里面,一般来说都是许多客户对应一个服务器，为了处理客户的请求,对服务端的程序就提出了特殊的要求。目前最常用的服务器模型有：

循环服务器:服务器在同一个时刻只可以响应一个客户端的请求

并发服务器:服务器在同一个时刻可以响应多个客户端的请求

 

1.38UDP循环服务器

UDP循环服务器的实现方法:UDP服务器每次从套接字上读取一个客户端的请求->处理->然后将结果返回给客户机

socket(...);

bind(...);

while(1)

       {

       recvfrom(...);

       process(...);

       sendto(...);

       }

因为UDP是非面向连接的,没有一个客户端可以老是占住服务端， 服务器对于每一个客户机的请求总是能够满足

 

1.39 TCP循环服务器

TCP服务器接受一个客户端的连接,然后处理,完成了这个客户的所有请求后,断开连接。算法如下:

socket(...);

bind(...);

listen(...);

while(1)

{

    accept(...);

    process(...);

        close(...);

     }

TCP循环服务器一次只能处理一个客户端的请求。只有在这个客户的所有请求都满足后,服务器才可以继续后面的请求。这样如果有一个客户端占住服务器不放时,其它的客户机都不能工作了，因此,TCP服务器一般很少用循环服务器模型的

 

1.40TCP并发服务器

并发服务器的思想是每一个客户机的请求并不由服务器直接处理,而是由服务器创建一个 子进程来处理。算法如下:

 socket(...);

   bind(...);

 listen(...);

 while(1) {

accept(...);

 if(fork(..)==0)

  {

      process(...);

  close(...);

      exit(...);

}

close(...);

}

TCP并发服务器可以解决TCP循环服务器客户机独占服务器的情况。但同时也带来了问题：为了响应客户的请求,服务器要创建子进程来处理，而创建子进程是一种非常消耗资源的操作

 

1.41 多路复用

 阻塞函数在完成其指定的任务以前不允许程序继续向下执行.例如：当服务器运行到accept语句时，而没有客户请求连接，服务器就会停止在accept语句上等待连接请求的到来.这种情况称为阻塞（blocking），而非阻塞操作则可以立即完成。例如，如果你希望服务器仅仅检查是否有客户在等待连接，有就接受连接，否则就继续做其他事情，则可以通过使用select系统调用来实现.除此之外，select还可以同时监视多个套接字

int select(int maxfd, fd_set *readfds, fd_set *writefds, fe_set *exceptfds, const struct timeval *timeout)

Maxfd: 文件描述符的范围，比待检的最大文件描述符大1

Readfds:被读监控的文件描述符集

Writefds:被写监控的文件描述符集

Exceptfds:被异常监控的文件描述符集

Timeout:定时器

Timeout取不同的值，该调用有不同的表现：

       Timeout值为0，不管是否有文件满足要求，都立刻返回，无文件满足要求返回0，有文件满足要求返回一个正值。

       Timeout为NULL，select将阻塞进程，直到某个文件满足要求

       Timeout值为正整数，就是等待的最长时间，即select在timeout时间内阻塞进程

 

1.42多路复用I/O

Select调用返回时，返回值有如下情况：

1. 正常情况下返回满足要求的文件描述符个数；

2. 经过了timeout等待后仍无文件满足要求，返回值为0；

3. 如果select被某个信号中断，它将返回-1并设置errno为EINTR。

4. 如果出错，返回-1并设置相应的errno

 

1. 设置要监控的文件

2. 调用Select开始监控

3. 判断文件是否发生变化

 

系统提供了4个宏对描述符集进行操作：

#include <sys/select.h>

  void FD_SET(int fd, fd_set *fdset)

  void FD_CLR(int fd, fd_set *fdset)

  void FD_ZERO(fd_set *fdset)

  int FD_ISSET(int fd, fd_set *fdset)

宏FD_SET将文件描述符fd添加到文件描述符集fdset中；

宏FD_CLR从文件描述符集fdset中清除文件描述符fd；

宏FD_ZERO清空文件描述符集fdset；

     在调用select后使用FD_ISSET来检测文件描述符集fdset中的文件fd发生了变化