Linux 工具 | 第1篇：高级流控-TC+HTB+IFB+内核模块

最新推荐文章于 2024-09-12 07:41:13 发布

i丶scream

最新推荐文章于 2024-09-12 07:41:13 发布

阅读量3.2k

点赞数 2

分类专栏：【初探】 linux 文章标签： TC 流量控制 ifb htb 流控

本文链接：https://blog.csdn.net/i_scream_/article/details/82776333

版权

【初探】 linux 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

作者：isshe
日期：2018.09.19
邮箱：i.sshe@outlook.com
github: https://github.com/isshe

1. 前言

接触了TC以后，感觉就是：别说入门了，根本连门都找不到。
网上资料一大堆，但是就是看得头痛并且一脸懵逼。
但是这篇文章并不对TC相关基础概念进行介绍。网络上一搜基本都是关于概念介绍以及TC+iptables或者TC + 单ifb的。
这篇文章的关键词：tc、ifb、fw、htb。主要希望能更灵活地实现一些流控的功能。

2. 约定及环境

环境：

openwrt路由器

一些约定：

出口/入口：站在用户的角度，对用户而言，也就是上传=出口，下载=入口。
一些关键信息：
TC的整形一般情况下，只能对出口流量(egress)进行。
- 对于wan口来说：下载是ingress，上传是egress
- 对于lan口来说：下载是egress，上传是ingress
- 因此，常规做法是，在lan口做下载流控，在wan口做上传流控

3. 需求、问题及解决方案

3.1 需求

探索一个工具，通常是因为一些需求。
最本质的需求：对入口/下载和出口/上传流量中重要的流量进行保障，提升冲浪?体验。

重要与否是根据个人需求。文章中指的重要的流量：游戏、语音通话等（流量不大并对延时要求高的流量）；不重要的流量：下载等（流量大并对延时要求低的）

3.2 最终实现图

[wan1] \                / [lan1]
[wan2]-- ifb0 ----ifb1 -- [lan2]
[wan3] /                \ [lan3]

优点：
- 支持多lan、多wan；
- 流控内容可定制性高，可实现复杂的流控。
- 配置简单（相比使用TC+U32+iptables）
缺点：
- 需要编写流量识别模块（识别IP？识别协议？识别应用？）
- 需要编写内核打标记模块。
- 这两个模块可以合二为一。

3.3 遇到的问题

1.如何只对外网流量(lan-wan)进行控制，不对内网流量(lan-lan)进行控制？
- 很简单，不使用常规做法，不用lan口，不对lan口做任何流控。
- 刚开始的尝试是，对lan-lan流量进行过滤。但是最后没有这样实现：1.不灵活，IP识别困难，外网IP也可以当做内网IP用；2.对不关注的流量进行操作，有性能损耗。
2.使用wan口的话，egress/上传的流控如何识别lan口的IP？egress的流量，经过nat以后，源IP不再是lan段的IP，因此无法标识具体的IP/用户。
```
----> ingress ---> | ---> netfilter ---> | ---> egress
--------------------------------------------------------
                       (打mark)nat转换           TC流控      
```
- 解决方法是使用fw分类器。在netfilter的forward上挂一个自定义的模块(如：MyMark)，根据需求打mark，这里可以任意发挥想象，直觉可以实现任意你想到的功能。(牛13吹起来)
- fw分类器，根据mark来分类：把打了1111标记的分类到1:10
  
  tc filter add dev ifbx parent 1: protocol ip prio 1 handle 1111 fw flowid 1:10
3.如何做到对上传和下载都进行流控，并且不使用lan口？
- 这里用的是ifb；还有其他方式，但是没细看。
- ifb原理就是开一些接口，把实际接口的ingress流量转到这些ifb接口的egress上；这样看起来会有一定的性能损耗。但是记得文档上说，对性能影响不大。（待查实）
4.如果采用打mark的形式，会遇到问题：打mark是在netfilter那里，但是ingress处流控在netfilter之前，将无法使用mark？
```
----> ingress ---> | ---> netfilter(打mark) ---> | ---> egress
```
- 这个人家实现ifb的时候已经考虑到了：把eth0的所有IP协议流量转到ifb0，并把链接跟踪的mark恢复到skb->mark中。
  
  tc filter add dev eth0 parent ffff: protocol ip prio 0 u32 match u32 0 0 action connmark action mirred egress redirect dev ifb0
5.如果其他程序(如mwan3)也使用了skb->mark的话，怎么办？
- mark是按位操作的。例如：mwan3使用0x0000-0xff00，我们就可以用0x01xxxx-0xffxxxx(16-23位)
- 问题2中的配置可以改为: （注意65536/ff0000!）
  - tc filter add dev ifbx parent 1: protocol ip prio 1 handle 65536/ff0000 fw flowid 1:10
- mwan3新版本貌似可以自定义mark范围了…不过没关系，还是可以指定。
6.如何实现保障？
- 用htb进行保障，同时还支持优先级。
- 注意：要预留突发带宽。例如10Mbps，要预留1-2M作为突发带宽。