Hi3536网络应用调优

积步千里

已于 2023-07-27 09:45:02 修改

阅读量802

点赞数

分类专栏： # 海思芯片开发文章标签：单片机嵌入式硬件

于 2023-07-25 15:42:03 首次发布

本文链接：https://blog.csdn.net/m0_37383484/article/details/131917100

版权

海思芯片开发专栏收录该内容

16 篇文章 11 订阅

订阅专栏

1. 为什么UDP接收或发送会丢包?

2. 使用 socket 接口时，如何正确工作在非阻塞模式下？

3. TOE 使能及使用注意事项

4. TOE 模式下使用 socket 接口时的注意事项

1. 为什么UDP接收或发送会丢包?

用户态应用程序在接收 UDP 数据时（单播或组播报文），同时进行其它有延时的操作(如写码流数据到 USB 存储设备)，应该程序将延迟接收 UDP 数据包，而 socket 默认接收缓存只有108544Byte，这样可能会使 socket 接收缓存满，无法接收新的 UDP 数据包，出现丢包现象。可在内核下通过执行下面命令进行确认：
```
cat /proc/net/snmp | grep Udp
```
如果 RcvbufErrors 字段增加较多，说明确实是 socket 接收缓存满导致的丢包。以下命令可以增加接收缓冲区大小（设置为 20,000,000 字节 (即 20 MB)），解决以上问题。
```
echo 20000000 > /proc/sys/net/core/rmem_max
echo 20000000 > /proc/sys/net/core/rmem_default
echo 20000000 > /proc/sys/net/core/netdev_max_backlog
```
这样做的目的是提高网络传输性能，特别是在处理大量数据流时。这种改动，需要根据实际码流发送速度和接收程序的延时进行参数调优。
UDP 发送可能会丢包，一种原因是 CPU 发送 UDP 报文的速率超过了网卡 MAC 的发包速率，导致网卡MAC的发送缓冲队列满，引起了丢包。可以在内核下通过执行下面命令进行确认：
```
ifconfig eth0
```
如果打印的信息中 TX dropped 和 overruns 值基本相等，都增加较多，说明是网络MAC的发送缓冲队列满导致的丢包。以下命令可以减小发送缓冲区，让CPU发包速率慢一点，解决以上问题。
```
echo 20000 > /proc/sys/net/core/wmem_max
echo 20000 > /proc/sys/net/core/wmem_default
```
这种改动，需要根据码流发送速率和丢包率的要求进行参数调优。

2. 使用 socket 接口时，如何正确工作在非阻塞模式下？

在网络编程中对于一个网络句柄会遇到阻塞IO 和非阻塞IO 的概念, 这里对于这两种 socket 先做一下说明：

阻塞IO：socket 的阻塞模式意味着必须要做完IO 操作（包括错误）才会返回。

非阻塞IO：非阻塞模式下无论操作是否完成都会立刻返回，需要通过其他方式来判断具体操作是否成功。

对于一个 socket 是阻塞模式还是非阻塞模式有两种方式来处理：

方法1：fcntl 设置；用 F_GETFL 获取 flags，用 F_SETFL 设置 flags | O_NONBLOCK; fcntl 函数可以将一个 socket 句柄设置成非阻塞模式:

flags = fcntl(sockfd, F_GETFL, 0);           //获取文件的flags值
fcntl(sockfd, F_SETFL, flags | O_NONBLOCK);  //设置成非阻塞模式

设置之后每次对于 sockfd 的操作都是非阻塞的。

flags  = fcntl(sockfd, F_GETFL, 0);           //获取文件的flags值
fcntl(sockfd, F_SETFL, flags & ~O_NONBLOCK);  //设置成阻塞模式

设置之后每次对于sockfd 的操作都是阻塞的。

方法2：recv、send 系列的参数 (读取、发送时，临时将 sockfd 或 filefd 设置为非阻塞)。 recv、send 函数的最后有一个 flag 参数可以设置成 MSG_DONTWAIT，临时将 sockfd 设置为非阻塞模式，而无论原有是阻塞还是非阻塞。
```
recv(sockfd, buff, buff_size, MSG_DONTWAIT);  //非阻塞模式的消息发送
send(scokfd, buff, buff_size, MSG_DONTWAIT);  //非阻塞模式的消息接受
```

3. TOE 使能及使用注意事项

TOE 模块(TCP Offload Engine，TCP 卸载引擎) 同时实现两个网络接口数据的接收和发送，可以工作在 10/100/1000Mbit/s 模式下，支持半双工和全双工工作模式，提供 MII、RMII 和 RGMII 接口。TOE 模块能够通过硬件部分实现 TCP/IP 加速处理的功能，不但能够提升网络接口的吞吐量，还可以显著的降低 CPU 占用率。

Hi3536 网口默认使用的是 bypass 功能，使能 TOE 功能只需要如下操作即可：
修改文件系统的 /etc/init.d/S81toe 启动脚本：

将 insmod /hitoe/stmmac.ko 注释掉；

再将下列三句话使能，打开 TOE 功能：
```
echo 8192 > /proc/sys/vm/min_free_kbytes
echo 200 > /proc/sys/vm/vfs_cache_pressure
insmod /hitoe/stmmac.ko hitoe=1
```
由于这里保留空间增大了，相应的 bootargs 中 MEM 的配置也要相应的增大，否则会出现内存不够用的情况。
Hi3536 GMAC 每次使用 TOE 发送数据时，需要大块连续的物理内存，但是内核中大块连续内存的数量非常少。因此在使用前需要做如下处理，确保能够分配到足够多的物理内存。下述处理只是简单的举例，具体的数值需要根据业务场景使用的连接数来决定。
```
echo 8192 > /proc/sys/vm/min_free_kbytes
echo 200 > /proc/sys/vm/vfs_cache_pressure
```
min_free_kbytes 表示最小保留内存的大小，缺省值为 8192，vfs_cache_pressure 表示设置了虚拟内存回收 directory 和 i-node 缓冲的倾向，缺省值为 100，推荐设置为 200，因为该参数的值越大，回收的倾向越严重。这样 TOE 就会有更多的物理内存使用。Hi3536 ETH 使用时如果网口出现内存分配不足的情况下可以在 shell 下进行如下设置（增大最小保留内存）：
```
echo 16384 > /proc/sys/vm/min_free_kbyte
```
TOE 不支持选择性重传功能，而内核默认打开了网络模块的选择性重传，为了 Hi3536 在 TOE 模式下能与对端设备协商一致，需要关闭选择性重传：
```
echo 0 > /proc/sys/net/ipv4/tcp_sack
```
TOE 接收描述子个数可以配置，默认 4096，消耗 8MB 内存（每个描述子 2K）。补充说明：个数可以根据内存大小或应用场景配置。CPU 压力越大，网络压力越大，则配置描述子大可以提高性能，其他情况下可以减少配置，一般简单场景 256 即可，可以节省内存，配置范围 256~8192。配置方法举例：
```
insmod stmmac.ko hitoe=1 tnk_rx_fifo=4096
```
增加 socket 选项，可以通过 setsocketopt 来实现某个 socket 是否使用 TOE 功能，目前默认每个 socket 都使能 TOE。实现方法：在具体的业务 socket 层代码中定义如下宏：
```
#define SO_TOE_ENABLE 76
```
在创建 socket 连接的代码实现中添加 TOE 使能开关：
```
int val = 0; /* DISABLE TOE : val = 0 ENABLE TOE: val = 1*/
int len = sizeof(int);
setsockopt(sockfd, SOL_SOCKET, SO_TOE_ENABLE, &val, len);
```
增加 socket 选项，可以通过 getsockopt 来获取某个 socket 是否处于 tcp 连接加速状态。实现方法：在具体的业务 socket 层代码中定义如下宏：
```
#define SO_TOE_STATE 77
```
当用户创建并使用 socket 后，用户可以通过如下代码在任意时刻获取 tcp 连接的加速状态：
```
int val;
int len = sizeof(int);
getsockopt(sockfd, SOL_SOCKET, SO_TOE_STATE, &val, &len);
```
如果返回的 val 值为 1，说明 tcp 连接处于加速状态，如果返回的 val 值为 0，说明 tcp 连接处于非加速状态。
增加对所有连接默认是否开启 TOE 加速的支持。如果用户希望默认所有连接不开启 TOE 加速，仅当主动通过 setsockopt 设置某条连接开启 TOE 时，这条连接才开启 TOE 加速特性，那么用户可通过内核文件系统 /proc 下的参数来进行设置。其中，/proc/sys/tnk/tnk_tcp_gmac0_enable 是网口 0 口的 TOE 使能开关，/proc/sys/tnk/tnk_tcp_gmac1_enable 是网口 1 口的 TOE 使能开关，向该 proc 节点写 1 表示所有连接默认开启 TOE 加速，写 0 表示所有连接默认不开启 TOE 加速。如果用户希望网口 0 默认所有连接不开启 TOE 加速，使用命令如下：
```
echo 0 >/proc/sys/tnk/tnk_tcp_gmac0_enable
```
这样，网口 0 所有连接默认都不会开启 TOE 加速，客户可以通过 setsockopt 来使能某条 socket 进入 TOE 加速。

4. TOE 模式下使用 socket 接口时的注意事项

在 TOE 模式下，不管是阻塞模式还是非阻塞模式，协议处理是由硬件完成的，当出现内核 buffer满时，都会给上层应用返回 EAGAIN，而在 Bypass 模式下，如果是阻塞模式，则出现内核 buffer 满时，不会返回 EAGAIN，而阻塞继续发送！
另外经过查询得知 send 的返回值是这样处理的：阻塞模式与非阻塞模式下，send 返回值 < 0 && (errno == EINTR || errno == EWOULDBLOCK || errno == EAGAIN) 表示暂时发送失败，需要重试，如果 send 返回值 <= 0, && errno != EINTR && errno != EWOULDBLOCK && errno != EAGAIN 时，连接异常，才需要关闭。
因此，建议应用程序在调用 send 时，若返回值 < 0 && (errno == EINTR || errno == EWOULDBLOCK || errno == EAGAIN) 应该延时等待一段时间再重新尝试发送，而不要直接调用 close 断开连接，则不会出现此问题。