vim最新转载的

最新推荐文章于 2022-08-02 17:47:57 发布

robertzhouxh

最新推荐文章于 2022-08-02 17:47:57 发布

阅读量2.3k

点赞数

分类专栏： vim+emacs

vim+emacs 专栏收录该内容

74 篇文章 0 订阅

订阅专栏

vim入门,进阶与折腾

ripwu Programming >> vim Permalink 12.01.21 2,883 views 9 comments

作为编辑器之神,vim一直是我编辑文本的不二选择,哪怕其坎坷的学习曲线让人头疼不已.末学总结一下经验教训,以作备忘.

入门

个人习惯编译选项

./configure –with-features=huge –enable-cscope –enable-fontset –enable-multibyte –enable-perlinterp –enable-rubyinterp –enable-pythoninterp

工作目录

:pw[d] 显示当前工作目录
:cd[!] {path} 工作目录切换到path

移动: h j k l 0 ^ $ e E b B w W f F t T ; , % gg G [ ]
编辑: d y p r c o

在vim中还存在如x,s等编辑命令,这些命令只是编辑命令 + 移动命令的简答组合,如x X D C s S Y

简单总结大小写操作命令的区别:

作用于行首: I
作用于行尾: D,C,A,R
作用于整行: Y,S,V
作用于逆方向: X,F,P,O,N
搜索时大小写相关: \C
改变大小写: gU

关于编辑命令,需要说明一点: x,d,c这些命令会把脏数据置入vim的粘贴板(所谓脏数据,也就是被命令删除或改变的那部分数据).

利用vim的这个特性,我们可以轻易的实现文本剪切,如交换两个字符,交换两行文本,甚至是交换两段文本:

16进制编辑,码农必备,lol

:%!xxd 16进制编辑
:%!xxd -r 文本编辑

保存会话

Session可以忠实地记录vim当前的视图,如windows和tabs,甚至是高亮.真是谁用谁知道.

:mks[!] [file] 把当前视图保存到file,如file未指定,则缺省为Session.vim
vim -S Session.vim 打开Session.vim,也就是Reload view,重新打开视图.

可视化编辑

v: charwise
V: linewise

Ctrl-V: blockwise,后文介绍.

gv 重选上次选中的区域,谁用谁知道

区域

% 作用于当前打开的整个文件
‘<,'> 作用于当前选中的区域,其中,’<表示选中区域第一行,'>表示选中区域的最后一行.
{num1},{num2} 作用于从第num1行到第num2行

内置命令

. 当前行,比如说,想要作用于从当前行开始的总共8行文本,则可以8:,
$ 最后一行,

:[range] substitute/from/to/[flags] 替换文本

:[range] copy {num1} {num2} 复制文本

:[range] Tabluarize /{char1} 对齐文本

甚至可以是:
:[range] TOhtml 文本转为html

查找: / ? * #

:help pattern

/ 向前查找keyword
? 向后查找keyword

n 重做最后一次/或?
N 反方向重做最后一次/或?

\c 查找时忽略大小写
\C 查找时大小写相关

\< 表示一个词的开始
\> 表示一个词的结束

tabs

:help tabpage

:tabnew 新建tab
:tabclose 关闭当前tab
:tabedit {file} 新建tab,并在新创建的tab打开file (等价于: tabnew后:edit {file})
:tabmove {idx} 把当前tab移动到第idx tab之后

gt 切换到下一tab
gT 切换到上一tab
{idx}gt 切换到第idx tab

为了方便,我的vimrc配置如下:

536 map <A-1> 1gt
537 map <A-2> 2gt
538 map <A-3> 3gt
539 map <A-4> 4gt
540 map <A-5> 5gt
541 map <A-6> 6gt
542 map <A-7> 7gt
543 map <A-8> 8gt
544 map <A-9> 9gt

尽管很dirty,好歹能工作.

windows

:sp {file} 横向(horizontally)切割窗口,并在新窗口打开file
:vsp {file} 竖向(vertically)切割窗口,并在新窗口打开file

h 切换到左侧窗口
j 切换到下方窗口
k 切换到上方窗口
l 切换到右侧窗口

如果对所有vimer的配置做统计,下面这段配置绝对是出现频率最高的:

577 map <C-h> <C-w>h
578 map <C-j> <C-w>j
579 map <C-k> <C-w>k
580 map <C-l> <C-w>l

省下的绝对不仅是一次w按键,vimer你懂的.

关于窗口的扩大缩小, :help window-resize

marks

:help marks

我用得最多的marks操作是:

‘[ 跳到上一次被改变(changed)或者复制的文本段的第一个字符
'' 跳回上一次跳转的地方
'^ 跳到插入模式最后一次结束的地方
'. 跳到上一次文本被修改的地方

缩进与对齐

:help indent.txt

> 向右缩进shiftwidth个字符大小
< 同上,但是向左缩进
= 对齐文本

>,<.=这三个命令的作用域既可以是选中的一段文本,也可以是一个文本对象(后文进阶部门会解释).

进阶

[N]<command> 执行<command>N次

NOTE: [N]<command><range>和<command>[N]<range>是不一样的,如:d3w和3dw两个操作虽然看似一样,但实际上它们在vim内部的行为是有本质区别的:
d3w表示一次删除3个w,而3dw表示一次删除一个w,重复3次.

[start pos]<command>[end pos] 从start pos开始执行<command>到end pos,[]表示其内部的命令不是必须的,也就是说,start pos和end pos都不是必须的.

gg=G和^y$是两个极好的例子:

gg=G 对齐整个文件(gg跳到第一行,=对齐,G最后一行)
^y$ 从当前行行首复制至行尾(^行首,y复制,$行尾),你能看出^y$和Y的区别吗?

NOTE: start pos和end pos仅仅表示一个位置(黑话叫锚点),至于如何从光标移动到start pos或者end pos,vim并没有做出要求.于是,我们可以轻松地敲出如下命令,大大提高文本编辑的效率:

df=, yf=, cf=, vf= 从当前字符开始删除(复制,改变,选中),直到遇到=之后
dt”, yt”, ct”, vt” 从当前字符开始删除(复制,改变,选中),直到遇到”之前

text object

:help text-objects

<action>i<object> 作用于对象内部(i: inner)
<action>a<object> 作用于整个对象(a: an)

其中,action可以是v,d,c,y,甚至可以是>,<等
而object可以是w,W,s,p,b,B,以及各种成对符号,如',",<,{,(,[等

有了文本对象,写起代码来更是得心应手,如:

向右缩进一段代码: >i{
删除(复制,改变,选中)光标所在单词: diw, yiw, ciw, viw
删除(复制,改变,选中)”"内所有文本: di”, yi”, ci”, vi”
删除(复制,改变,选中)”"号内所有文本,包括引号本身: da”, ya”, ca”, va”

visual block

${select region}<commands>

块操作可以一次编辑多行文本,对有规律的编辑需要实在是一大利器.如:

宏

所谓宏,就是一段录制好的操作.

q${register}<commands>q 录制commands到寄存器register
[N]@register 重放寄存器register中的宏N次

看起来,宏和块操作的区别非常明显: 宏“可以认为”是linewise,而块操作是blockwise,也就是说,宏对应的是几行文本,块操作对应的则是选中的block.

从这明显的区别中我们可以推出一个重要的结论: 宏中的锚点有相对的概念,而块操作是绝对的.比如说,行尾就是一个最简单的相对概念,每一行的行尾所在的锚点可能都不一样,但这丝毫不影响宏正确的在所有行行尾插入一段文本.而在块操作中,命令A(在行尾插入)对应的语义却变成了block的尾部,显然,”block的尾部”这一概念对block中的所有行都是相同的,也就是所谓绝对的位置.

折腾

配色

:help syntax

vim自带了许多配色方案(在这里有各种预览),可以用colorscheme命令选择,如: colorscheme desertEx

哪怕再性感的配色,看久了也会生烦,所幸vim自带了synIDattr函数,在vimrc中加入如下脚本:

215 nmap <C-S-P> :call <SID>SynStack()<CR>
216 function! <SID>SynStack()
217    if !exists("*synstack")
218       return
219    endif
220    echo map(synstack(line(‘.’), col(‘.’)), ‘synIDattr(v:val, "name")’)
221 endfunc

:so %安装后就可以通过Ctrl-Shift-P组合键方便地查看某段文本的ID了.

得到文本ID之后,需要通过指定颜色来实现自定义.vim支持rgb配色(#445599之流),可是,身为毫无艺术感的二逼后台开发,我自然更偏爱skyblue这类见其名即可知其意的配色方案了:).为了让生活容易些,可以:runtime syntax/colortest.vim直接预览,谁用谁知道.

vim的强大总是让人爱不释手,我们甚至可以自定义ID,比如说,我的代码中TODO横行,为了更直观的显示TODO项,于是便有了这段配置:

60 highlight RipGroup ctermbg=yellow cterm=none ctermfg=black
61 match RipGroup /TODO/

btw,在终端下切记要打开256色: set t_Co=256

再次btw,简单回答一个可以很好的区分vim新手和老鸟的问题,对Alt键的map为何在终端模式下如此虐心? 因为终端他妈的自动在Alt前面加了Esc前缀,这该让人多胸闷啊.

代码折叠

:help fold.txt

vim支持多种折叠方法(fold methods),如indent,expr,marker,syntax等.我偏向于按syntax折叠,配置如下:

716 set foldenable           " enable folden
717 set foldmethod=syntax    " manual : Folds are created manually.
718                          " indent : Lines with equal indent form a fold.
719                          " expr   : ‘foldexpr’ gives the fold level of a line.
720                          " marker : Markers are used to specify folds.
721                          " syntax : Syntax highlighting items specify folds.
722                          " diff   : Fold text that is not changed.
728
729 "set foldclose=all
730 " use space to folden
731 nnoremap <space> @=((foldclosed(line(‘.’)) < 0) ? ‘zc’ : ‘zo’)<CR>

其中,.表示当前行,zo表示展开,zc表示折叠,整行配置的意思就是通过空格键折叠代码,效果如下:

vim默认在搜索和undo时会展开你辛辛苦苦设置好的折叠,这是让人非常难受的,所以我会追加这么一段配置:

726 set foldopen-=search " dont open folds when I search into thm
727 set foldopen-=undo " dont open folds when I undo stuff

编码

249 set encoding=utf-8
250 set fileencodings=ucs-bom,utf-8,cp936,gb18030,big5,gbk,euc-jp,euc-kr,latin1
251 if has("win32")
252     set fileencoding=chinese
253     " fix menu gibberish
254     source $VIMRUNTIME/delmenu.vim
255     source $VIMRUNTIME/menu.vim
256     " fix console gibberish
257     language messages zh_CN.utf-8
258 else
259     set termencoding=utf-8
260     set fileencoding=utf-8
261 endif

gui设置

简单介绍一下gvim的设置,首先是字体,我的配置如下:

229 set guifont=Courier_New:h9:cANSI
231 set guifontwide=幼圆:h10:cGB2312

guifont对应的应为字体,guifontwide对应所谓的宽字节字体,中文就是宽字节.

我个人倾向于隐藏gvim菜单栏,工具栏,滚动条等,以最大化代码可视面积:

237 if has("gui_running")
238     " set guioptions-=m  " remove menu bar
239     set guioptions-=T  " remove toolbar
240     set guioptions-=r  " remove right-hand scroll bar
241     set guioptions-=l  " remove left-hand scroll bar
242     set guioptions-=L  " remove left-hand scroll bar even if there is a vertical split
243     set guioptions-=b  " remove bottom scroll bar
244 endif

我要吐槽的是,即便设置了set guioptions-=l,当切割了横向窗口时,左侧的滚动条还是会如幽灵般出现.各种不解后查了手册才明白,原来还要set guioptions-=L,但是,右侧滚动条却没有这个坑,简直坑爹.

最后

推荐两大暗爽已久的神器,一是vimperator,在firefox上高度仿真了vim.一是hhkb,其惊艳的键位布局彻底释放了我被压抑多时的小拇指(码农你懂的),而奢侈的电容键盘更让人概叹“RealForce的素质,那仅仅是HHKB的起点而已”.当然,如果拿hhkb来码中文,那就是另一回事了…

初探Linux网络协议栈

ripwu Programming >> kernel , TCP/IP , unp Permalink 11.09.4 2,305 views rfc

一点声明
原文链接: http://www.ecsl.cs.sunysb.edu/elibrary/linux/network/LinuxKernel.pdf

译者注: 原文写于2003年,文中描述的不少内容已经发生了改变,在不影响愿意的情况下,我擅自增删了一些内容.

翻译过程中找到的好资料:

How SKBs Work
Evaluation of TCP retransmission delays
Congestion Control in Linux TCP
Anatomy of the Linux networking stack — From sockets to device drivers
Guide to IP Layer Network Administration with Linux
Linux内核源码剖析 —TCP/IP实现
Understand Linux Network Kernel
TCP/IP Illustrated, Vol. 2
RFC793, RFC1122, RFC1323, RFC2001, RFC2018, RFC2581

translated by ripwu, 个人主页: http://godorz.info

sk_buff

结构体定义

struct sk_buff
{
     /* These two members must be first. */
     struct sk_buff * next;      /* Next buffer in list */
     struct sk_buff * prev;      /* Previous buffer in list */

     struct sk_buff_head * list;    /* List we are on */
     struct sock *sk;                  /* Socket we are owned by */
     struct timeval stamp;           /* Time we arrived */
     struct net_device *dev;        /* Device we arrived on/are leaving by */

     /* Transport layer(TCP, UDP, ICMP, etc). header */
     union
    {
         struct tcphdr *th;
         struct udphdr *uh;
         struct icmphdr *icmph;
         struct igmphdr *igmph;
         struct iphdr *ipiph;
         struct spxhdr *spxh;
         unsigned char *raw;
    } h;

     /* Network layer header (IPv4, IPv6, arp, raw, etc).  */
     union
    {
         struct iphdr *iph;
         struct ipv6hdr *ipv6h;
         struct arphdr *arph;
         struct ipxhdr *ipxh;
         unsigned char *raw;
    } nh;

     /* Link layer header */
     union
    {
         struct ethhdr *ethernet;
         unsigned char *raw;
    } mac;

     struct dst_entry *dst;

     char cb[ 48];

     unsigned int len;               /* Length of actual data */
     unsigned int data_len;
     unsigned int csum;           /* Checksum */
     unsigned char __unused, /* Dead field, may be reused */
             cloned,                  /* head may be cloned (check refcnt to be sure). */
             pkt_type,               /* Packet class */
             ip_summed;           /* Driver fed us an IP checksum */
    __u32 priority;                /* Packet queueing priority */
    atomic_t users;               /* User count – see datagram.c,tcp.c */
     unsigned short protocol; /* Packet protocol from driver. */
     unsigned short security; /* Security level of packet */
     unsigned int truesize;      /* Buffer size */

     unsigned char *head;     /* Head of buffer */
     unsigned char *data;      /* Data head pointer */
     unsigned char *tail;        /* Tail pointer */
     unsigned char *end;       /* End pointer */
}

布局(Layout)

一个sk_buff对应的内存抽象图示为:

为了实现sk_buff在各层间传输时的零拷贝,采用的是将数据放在内存最后,增减报文头时在内存前面操作,然后重新设置相关指针即可.下图演示了一个UDP数据包在发送时添加UDP报头和IP报头的过程:

sk_buff的实现方式是双向链表.和所有的链表一样,sk_buff含有指向下一元素的next指针和指向前一元素的prev指针,为了更快的知道某个sk_buff元素属于哪一链表,sk_buff还包含一个指向头结点的list指针.

struct sk_buff_head {
     /* These two members must be first. */
     struct sk_buff * next;
     struct sk_buff * prev;
    _ _u32 qlen;
    spinlock_t lock;
};

如上所示,链表的头结点比较特殊,它包括了链表长度qlen和用于同步的自旋锁lock.

sk_buff元素组成的链表结构图如下:

创建和销毁

alloc_skb()负责sk_buff的创建,从sk_buff结构体的定义可以看到,当创建一个sk_buff时,总共需要申请两块内存,一块内存存储sk_buff本身(通过kmem_cache_alloc()),另一块内存存储sk_buff.data指向的数据区(通过kmalloc()).示意图如下:

其中, Padding的作用是字节对其. skb_shared_info这里不做介绍,详细信息参考<Understand Linux Network Kernel>.

sk_buff的销毁稍微复杂,但原理很简单,这里也不做介绍.

2. 网络层

本节介绍底层接收和处理packet(数据包)的流程.

接收packet的过程如下:

1. 网卡接收packet.

这些packet由DMA机制存储在最近使用的网卡的rx_ring中.rx_ring是一种工作于内核态的环形队列,其容量大小依赖于具体的网卡.有一种比较老的网卡,工作方式为轮询(PIO)模式: 由CPU将网卡数据读入内存态内存.

2. 网卡产生中断.

CPU开始执行网卡驱动的ISR代码,在2.4.19内核版本后,工作方式有些区别:

对于2.4.19版本之前(包括2.4.19)的内核:

如上图所示,中断处理程序将调用netif_rx()(net/dev/core.c). netif_rx()将接收到的数据压入被中断CPU的backlog队列,然后调度一个软中断(softirq, 一种内核行为,见 http://tldp.org/HOWTO/KernelAnalysis-HOWTO-5.html 和 http://www.netfilter.org/unreliable-guides/kernel-hacking/lk-hacking-guide.html 译注: 这里实际是指”下半段”,与硬中断的”上半段”呼应,见<Linux内核设计与实现> Update[2011-09-06] 译注错误: 软中断是bottom half的扩展,两者不应混为一谈. 操作系统之所以独立分开一个top half的概念,主要是因为中断是在CPU关中断(CLI)的情况下运行的,为了不丢失新到的中断信号,操作系统将中断服务程序一分为二,前者(top half)对其执行时间要求比较严格,一般立刻响应中断请求,为保证原子操作,它在关中断情况下执行,后者(bottom half)对时间要求没那么严格,通常在开中断下执行.但是,bottom half有一个致命的缺点,它只能在一个CPU上运行,也就是严格的串行,为了更充分的利用SMP,Linux2.4内核扩展了bottom half,成果便是所谓的”软中断(softirq)”机制,软中断最大的优点在于它可以在多CPU上运行,它在设计与实现中自始自终都贯彻了一个思想: “谁触发,谁执行(Who marks, Who runs),即触发软中断的那个CPU负责执行它所触发的软中断,而且每个 CPU 都由它自己的软中断触发与控制机制.), 由软中断来负责packet的进一步处理(比如说: TCP/IP 协议的处理). backlog队列的长度为300个packet大小(/proc/sys/net/core/netdev_max_backlog).

当backlog队列为满时,它转入throttle状态,在此状态等待数据清空,然后重新回到正常状态,正常状态下,backlog允许packet的入队操作.(netif_rx(), net/dev/core.c). 当backlog队列处于throttle状态时, netif_rx()将丢弃新来的packet. 我们可以通过/proc/net/softnet_stats来查看backlog队列的统计信息: 每一行对应一颗CPU,前两列分别是packet量和丢包量,第三列表示backlog队列有多少次进入了throttle状态.

对于2.4.19版本之后的内核:

如上图所示,内核采用的是NAPI新机制(见http://en.wikipedia.org/wiki/NAPI): 中断处理程序调用netif_rx_schedule()(include/linux/netdevice.h).该函数执行入队的对象不是packet,而是packet的一个引用(reference).(softnet_data>poll_list; include/linux/netdevice.h). 与旧内核机制相同的是,中断处理程序同样会调度一个软中断.为了向后兼容, 在NAPI机制中, backlog被当作像网卡一样可以处理所有到达packet的虚拟设备.内核开发者重写了netif_rx(),该函数将packet压入backlog之后,又将backlog压入CPU的poll_list链表.

3. 软中断执行net_rx_action()(net/core/dev.c).

在这一步中,新老内核处理方式同样有所不同:

对于2.4.19版本之前(包括2.4.19)的内核:

net_rx_action()为backlog队列中的所有packet调用**_rcv()函数(net/ipv4/ip_input.c),这里的**指代不同的packet类型,如ip, arp, bootp等.

对于NAPI:

CPU轮训其poll_list链表中的设备(注: NAPI中backlog为虚拟设备, process_backlog: net/core/dev.c),从设备的rx_ring环形队列中获得全部packet.CPU的轮询是通过 netif_receive_skb()(net/core/dev.c)调用ip_rcv()来完成的.

当一个packet被创建时,内核做了如下工作:

*IP packet由arp_constructor()创建.每个packet都包含dst field信息,dst提供了路由所需的目的地址,它对应一个output方法,对于IP packet而言,此方法为dev_queue_xmit().

*内核提供了多种排队原则(queueing disciplines, 简称qdisc).默认的排队原则使用FIFO队列,其缺省长度为100个packet大小.(ether_setup(): dev->tx_queue_len ; drivers/net/net_init.c),此长度可以通过带txqueuelen选项的ifconfig命令进行设置. 我们无法查看默认FIFO的统计信息,这里提供一个小技巧,通过tc 命令可以设置新的FIFO,以取代缺省的qdisc:

取代缺省的qdisc: tc qdisc add dev eth0 root pfifo limit 100
查看统计信息: tc -s -d qdisc show dev eth0
重新设置缺省qdisc: tc qdisc del dev eth0 root

1.对从IP层(IP layer)传入的packet,调用dev_queue_xmit()(net/core/dev.c).该函数将packet压入外发网卡(output interface, 它由路由决定)相应的qdisc.如果网卡驱动正常, qdisc_restart()(net/sched/sch_generic.c)将处理qdisc中的所有packet;

2.调用hard_start_xmit().该方法实现于网卡驱动,它将packet压入tx_ring环形队列,然后网卡驱动将通知网卡有数据可发送.

3. 网卡发送packet并通知CPU. CPU调用net_tx_action()(net/core/dev.c)将packet压入completion_queue,然后调度一个负责释放packet内存的软中断.网卡与CPU之间的通信方式是硬件相关的,这里不作详细介绍.

3. 传输层

IP相关文件有:

ip_input.c – 处理到达packet
ip_output.c – 处理发送packet
ip_forward.c – 处理由本机路由的packet

还有一些模块负责处理 IP packet fragmentation(ip_fragment.c),IP options(ip_options.c), multicast(ipmr.c) 和 IP over IP (ipip.c)

下图描述了packet在IP层的流转路径. 当一个packet到达主机后,如前文所述种种流程,net_rx_action()将它转给ip_rcv()处理. 在经过first netfilter hook后, ip_rcv_finish()验证该packet的目的地是否就是本机.如果是的话, ip_rcv_finish()将该packet传给ip_local_delivery(), 然后由ip_local_delivery()转发给合适的传输层(transport layer)处理函数(tcp, udp, etc).

如果IP packet的目的地址是其他主机,那么处理该packet的当前主机就起了router的角色(这种场景在小型局域网上很常见). 如果主机允许转发packet(通过/proc/sys/net/ipv4/ip_forward查看或设置),那么该packet将由一系列复杂但高效的函数处理.

如果路由表(它是一种hash表)中存在packet的路由信息的话,该packet的行经路径通过ip_route_input()查找,否则,通过ip_route_input_slow(). ip_route_input_slow()调用fib(Forward informationbase, 路由表)族函数,这些函数定义在fib*.c文件中. FIB结构体非常复杂.

如果packet是多播(multicast)数据包,那么内核通过ip_route_input_mc()计算出packet发往的那些设备(该情况下,packet目的地址不变).

在计算出packet的路由信息之后,内核往IP pcaket插入新的目的地址,并将其所属设备信息插入对应的sk_buff结构. 然后,packet被转发(forwarding)函数(ip_forward() 和 ip_forward_finish()).

一个packet也可以从上层发往ip层(通过 TCP or UDP 传输). 处理该packet的第一个函数ip_queue_xmit(),它通过ip_output()将packet发往output part.

output part对packet做了最后的修改. dev_queue_transmit()将packet压入输出队列(output queue),然后通过q->disc_run()来调用网络调度机制(network scheduler mechanism).该指针指向不同的函数,这取决于内核采用的调度器(默认为FIFO类型,可以通过tc工具进行设置).

调度函数(qdisc_restart() 和 dev_queue_xmit_init())独立于IP层其他函数.

4. TCP

本节介绍Linux内核网络协议栈中最为复杂的TCP.

Introduction

TCP相关文件有:

tcp_input.c - 最大的一个文件,它处理网络中到达的packet
tcp_output.c - 处理将发往网络的packet
tcp.c - TCP代码
tcp_ipv4.c - IPv4具体的TCP代码
tcp_timer.c – 定时器
tcp.h – 定义TCP结构体

TCP数据的处理如下两图,上图处理接收,下图处理发送.

TCP Input (mainly tcp_input.c }

TCP input在TCP实现中占了很大一部分.它处理TCP packet的接收,因为TCP实体(TCP entity, 也就是TCP协议栈)可以同时处于接收和发送两种状态,所以这两类代码混杂在了一起.

ip_local_deliver()将packet从IP层发往TCP层.它把packet传给ipproto->handler,在IPv4的实现中该handler就是tcp_v4_rcv().此函数进一步调用tcp_v4_do_rcv().

tcp_v4_do_rcv()会根据TCP连接(connection)的不同状态调用不同的函数.如果连接已建立(TCP_ESTABLISHED),它会调用tcp_rcv_established(),这是我们接下来会重点介绍的部分. 如果连接状态是TIME_WAIT,它会调用tcp_timewait_process().

对于其他的状态, tcp_v4_do_rcv()统一调用tcp_rcv_state_process().对于SYS_ENT状态的连接,该函数进一步调用tcp_rcv_sysent_state_process().

tcp_rcv_state_process()和tcp_timewait_process()必须初始化TCP结构体,这通过tcp_init_buffer_space()和tcp_init_metrics()完成. tcp_init_metrics()调用tcp_init_cwnd()来初始化其拥塞窗口(congestion window).

tcp_rcv_established()

tcp_rcv_established()有两条分支路径.我们首先介绍慢路径(slow path)分支,因为它简单清晰,另一分支留待后文介绍.

slow path

在RFC中,slow path只要有7步操作:

tcp_checksum_complete_user()计算校验码(checksum).如果检验码有误,packet被丢弃.
tcp_paws_discard()负责PAWS(Protection Against Wrapped Sequence Numbers).
STEP 1 – 检查packet序列号(sequence). 如果序列号不再接收端口中,接收模块(receiver)将通过tcp_send_dupack()发回一个DUPACK.tcp_send_dupack()通过tcp_dsack_set()设置一个SACK,然后调用tcp_send_ack()进行发送.
STEP 2 – 检查RST位(th->rst),如果该位被置位,调用tcp_reset().
STEP 3 – 检查安全性(security)和优先级(precedence, RFC建议,但内核未实现)
STEP 4 – 检查SYN位,如果该位被置位,调用tcp_reset()…
通过tcp_replace_ts_recent()估算RTT(RTTM).
STEP 5 -检查ACK位,如果该位被置位,调用tcp_ack().
STEP 6 -检查URG位,如果该位被置位,调用tcp_urg().
STEP 7 -通过tcp_data_queue()处理packet携带的数据.
通过tcp_data_snd_check()检查是否有数据要发回.该函数将调用TCP发送模块( output sector)的tcp_write_xmit().
Finally, 通过tcp_ack_snd_check()检查是否有ACK要发回.ACK的发回有两种情况: 通过tcp_send_ack()直接发回; 或者通过tcp_send_delayed_ack()延时发回(译注: 这是TCP的延时确认(Delayed ACK)机制,目的为减少分组,可通过/proc/sys/net/ipv4/tcp_delack_min设置),被延时的ACK存储在tcp->ack.pending.

tcp_data_queue()

tcp_data_queue()负责处理packet数据.如果packet顺序到达(所有之前的packet已到达),它将把数据拷贝到tp->ucopy.iov (skb_copy_datagram_iovec(skb, 0, tp->ucopy.iov, chunk)).

如果packet并非顺序到达,那么它将通过tcp_ofo_queue()把packet压入乱序队列(out of order queue).

如果乱序队列满,根据RFC 2581文档4.2节, 协议栈将返回一个ACK(tp->ack.pingpong 被置0,tcp_ack_snd_check()被调用来返回ACK).

packet的到达引起各种反应,这由tcp_event_data_recv()处理. 它首先通过tcp_schedule_ack()调度一个ACK的发回,然后通过tcp_measure_rcv_mss()估算MSS(Maximum Segment Size).在特定的情况下(如: 慢启动), tcp_event_data_recv()选择调用tcp_incr_quickack(),以立刻返回ACK(即不使用延时确认机制).最后, tcp_event_data_recv()通过tcp_grow_window()增大通告窗口(advertised window, 译注: 其实也就是receive window,即接收窗口,更多参数设定见http://140.116.72.80/~smallko/ns2/TCPparameter.htm).

tcp_data_queue()最终将检查FIN位,如果该位被置位,调用tcp_fin().

tcp_ack()

对发送模块(“sender”)而言,它每收到一个ACK,都会调用tcp_ack(),注意这一点不要和接收模块(“receiver”)通过tcp_send_ack()调用tcp_write_xmit()发送ACK的行为混淆了.

tcp_ack()首先检查ACK是否比先前收到的ACK较老还是较新,如果较老的话,内核通过执行 uninteresting_ack和old_ack无视之.

如果一切正常, tcp_ack()将通过tcp_ack_update_window()和/或tcp_update_wl()更新发送端的拥塞窗口.

如果ACK可疑(dubious) ,那么通过tcp_fastretrans_alert()进入快速重传(fast retransmit).

tcp_fast_retransmit()

tcp_fast_retransmit_alert()只由tcp_ack()在特定条件下调用.为了更好的理解这些特定条件,我们必须对
NewReno/SACK/FACK/ECN状态有深入的认识.注意这个TCP状态机本身没有什么关系,在这里连接状态几乎可以确定是TCP_ESTABLISHED.

拥塞控制状态有:

“Open” – 正常状态,无可疑事件,属于快速路径(fast path).
“Disorder” -当发送方检测到DACK(重复确认)或者SACK(selective ACK带选择的ACK, 见http://simohayha.iteye.com/blog/578744)时会进入该状态,它可以看成是Open状态,之所以会将”DisOrder”从”Open”中分离出来,主要是为了将某些处理从快速路径(fast path)移到慢速路径(slow one). (译注: 在这个状态,拥塞窗口不会被调整,每一次新的输入数据包都会触发一个新的端的传输)
“CWR”(拥塞窗口减小) – 某些拥塞通知事件(Congestion Notification event)将减小CWND(译注: 即congestion window拥塞窗口). 这些事件包括ECN(Explicit Congestion Notification显式拥塞通知,见http://en.wikipedia.org/wiki/Explicit_Congestion_Notification), ICMP远端抑制(ICMP source quench, 见http://en.wikipedia.org/wiki/ICMP_Source_Quench)和本机设备的拥塞.(译注:当接收到一个拥塞通知时,发送方并不立刻减小拥塞窗口,而是每隔一个新收到的ACK减小一段知道拥塞窗口大小减半为止,发送方在减小拥塞窗口的过程中不会有明显的重传. CWR状态可以被Recovery或Loss状态中断.)
“Recovery” – 该状态下CWND被减小,正在快速重传(fast-retransmitting). (译注: 默认情况下,进入Recovery状态的条件是三个连续的重复ACK.在Recovery状态期间,拥塞窗口的大小每隔一个新到的确认减少一个段,这和CWR状态类似.窗口减小直到刚进入Recovery状态时窗口大小的一半为止.拥塞窗口在恢复状态期间不增大,发送方重传那些被标记为丢失的段,或者根据包守恒原则在新数据上标记前向传输.发送方保持Recovery状态直到所有进入Recovery状态时正在发送的数据段都成功地被确认,之后该发送方恢复Open状态.重传超时有可能中断Recovery状态.)
“Loss” – 当RTO到期(RTO timeout)或者SACK拒绝(SACK reneging, 译注: 表示接收到的ACK的确认已经被先前的SACK确认过),发送方进入Loss状态.CWDN减小而后增大. (译注: Loss状态下所有正在发送的数据段标记为loss,拥塞窗口重置为1,发送方然后按慢启动算法增大拥塞窗口.Loss和Recovery状态的一个主要区别是: 在Loss状态,拥塞窗口在发送方重置为一个段后增大,而Recovery状态下拥塞窗口只能被减小. Loss状态不能被其他的状态中断,因此,发送方只能在所有Loss开始时正在传输的数据都成功得到确认ack后,才能回到Open状态,例如, 快速重传(fast retransmitting)不能在Loss状态期间被触发)

这些状态保存于tp->ca_state,对应值分别是TCP_CA_Open, TCP_CA_Disorder, TCP_CA_Cwr, TCP_CA_Recover 和 TCP_CA_Loss.

当收到ACK时状态不为Open,或者收到了奇怪的ACK(如SACK, DUPACK ECN ECE),内核会调用tcp_fastretrans_alert(). (译注: 此函数非常重要,它负责拥塞控制的处理,包括处理显式拥塞通知,判断SACK是否虚假,拥塞时记录的SND,NXT被确认时进行撤销,以及当前状态的处理等.详细见http://research.csc.ncsu.edu/netsrv/sites/default/files/hystart_techreport_2008.pdf)

fast path

在TCP处理过程中,receiver比较简单,因此它经常进入快速路径.

SACKs

Linux TCP协议栈完整实现了SACKS(带选择的ACK).SACK信息存储于tp->sack_ok field.

quickacks

某些情况下,receiver进入quickack模式,也就是说,延时确认机制(delayed ACK)被禁用.在quickack模式下,连接开始时,tc_rcv_sysent_state_process()将调用tcp_enter_quick_ack_mode().

Timeouts

定时器对TCP的正确工作起到了至关重要的作用.比如说,借助定时器,TCP可以判断packet是否在网络中丢失.

当发送一个packet时,其重传定时器(retransmit timer)会被设置. tcp_push_pending_frames()通过tcp_check_probe_timer()调度一个软中断(软中断有内核中非网络协议栈相关的代码处理).

定时器的超时事件会产生一个软中断,软中断通过timer_bh()调用run_timer_list(). run_timer_list()将调用timer->function函数指针指向的tcp_wite_timer(). tcp_wite_timer()进而调用tcp_retransmit_timer(),最终, tcp_wite_timer()调用tcp_enter_loss(). tcp_enter_loss()将拥塞控制状态设为CA_Loss,然后由fastretransmit_alert()重传packet.

ECN

ECN(Explicit Congestion Notification,即显式拥塞通知)代码比较简单, 几乎所有的代码都在/include/net目录下的tcp_ecn.h文件中. tcp_ack()调用TCP_ECN_rcv_ecn_echo()来处理ECN packet.

TCP output

这部分代码(主要在tcp_output.c)负责packet(包括sender发送的数据packet和receiver发回的ACK)的发送.

5. UDP

本节简单介绍UDP,它很重要,但比起TCP,其拥塞控制却简单多了.

UDP相关文件:

net/ipv4/udp.c

当packet通过ip_local_delivery()从IP层到达时,它被传给udp_rcv()(该函数角色类似于TCP的tcp_v4_rcv()). udp_rcv()调用sock_put()将packet压入socket queue.packet的传递就到此结束了.内核然后调用inet_recvmsg()(通过recvmsg()系统调用), inet_recvmsg()调用udp_recvmsg(), 而udp_recvmsg()进一步调用skb_rcv_datagram(). skb_rcv_datagram()函数从队列中获得packet,然后据此packet填充用户态将读取的结构体.

当一个packet从用户态到达时(译注: 也就是说要发送出去),处理就更加简单了. inet_sendmsg()调用udp_sendmsg(), udp_sendmsg()通过从sk结构体获取的信息(这些信息在socket被创建和被绑定(bind调用)时被设置于sk中)填充UDP数据报(UDP datagram).

当UDP数据报填充完成之后,数据报被传给ip_build_xmit(), ip_build_xmit()通过ip_build_xmit_slow()创建IP packet.

IP packet创建完成以后, packet被传给ip_output(),正如4 – Network Layer 介绍的一样, ip_output()将packet发往更低层.

我的大学

ripwu My Thoughts >> life Permalink 11.05.8 2,455 views 11 comments

这是一篇很诚实很man show但却毫无营养的自述文,慎入.

也许很少有高中同学知道,尽管成绩一向不错,但实际上我对数学充满了厌恶.高中3年机械式的训练,让我实在无法忍受,于是高考填报志愿时选了一个文科的方向,自以为从此天高云厚,憧憬着大学生活的我完全没有意识到此后的命运弄人带来的打击会有多大.

一分之差被选择了计算机专业,大学的傻逼生涯就此埋下了伏笔.整个大一都是在迷茫中度过,对于在大学第一学期,本应是最有干劲的新生来说,高等代数62分和数学分析60分已经足以说明了我的自暴自弃,虽然如此,此后的我居然一直没在数学之上挂科,这是很难想象的,唯一可能的答案也许是尚有一点点不甘吧.维系着成绩上的苟延残喘之余,所有的郁闷都被我发泄在读书上,我阅读了各种名人的传记,从曹操到希特勒,从艾森豪威尔到巴顿,从切格瓦拉到卡斯特罗,原来,所有人都在自己的方向一步步的努力,这个发现便是大一最大的收获了.

让人很苦的笑话

在拉格朗日下有一座微分方城,旁边有两条溪,
一条叫柯溪,一条叫数学分溪,两条溪又汇成了
解析几河,河边有棵线性代树,树上长满了傅里
叶,很多人就挂在上面了…

可惜的是,我找不到我的方向,在学习压力巨大的大二,我仍旧找不到前方.曾经的理想已经远去,未来的大门尚未敞开.这篇文章很好的记下了当时的想法.对于数学,我完全无爱,或许,它唯一能带给我快乐的也就只有右边的这个笑话了.我很想改变些什么,但却有心无力,每天浑浑噩噩,做一天和尚撞一天钟,痛苦,挣扎,便是大二全部的关键词.

上了大三,我恋爱了.正如2010总结所描述的那样,大三的前几个月,我终于找回了已经很久未曾体会过的幸福,逛街,看电影,每一天都是如此轻松,每一秒都是如此难忘,我连谈恋爱的时候都不够,又怎么顾得上去厌恶我的专业呢.沉浸,陶醉,如今回过头来想想,正是这几个月无拘无束的生活,让我对计算机系的感觉焕然一新.代码不再枯燥,编程不再无聊,甚至于,当我鬼使神差的捧起APUE时,细细咀嚼,竟然有了一种与巨匠前贤直面交谈的感觉,那一刻我爱上了Unix,我想这就是所谓的顿悟吧.自此之后,我着了魔,疯狂的想弄明白每一句代码背后的故事,地底三万尺,我愿意去深挖,我愿意去探险,这种感觉实在是太奇异了,我很享受在不同的层次间level up和level down,每一次思维上切换都能带来一种快感,如同高空坠落一般,真实,激烈,持久.

我入了门,虽然有点晚,但还不迟,毕竟better late than never.老丘说,努力就是了,于是,在接下来的几个月里,凭着初生牛犊的冲劲,我啃掉了Unix领域不少的经典图书,在此期间,还不忘回头把计算机,算法,网络等本该早已掌握的知识重新打牢,然后,因为无知,所以无畏,我去面试了.此后的事情如在眼前,我很幸运地得以在腾讯实习了4个多月,深感于才疏学浅,如今一直呆在学校里恶补,直到今天下午看到好友们对于毕业纷纷的感概,一时难以自已,便在这里写着这篇文章.

Thank you!!!

其实,现在想来,大学四年里我是相当幸运的.首先是学校,虽然我常常不怀好意的称其为中国山寨大学,但实际上,中大是很自由,很轻松的一所大学.即便是某次我很嚣张的质问为什么在google上搜索世界杯一共打多少场比赛都会被重置时,辅导员都没有大动肝火,不过是交份检讨,积极分子除名了事.正是因为学校如此轻松的学风,让我后来可以毫无顾忌的肆意逃课,一心一意学习Linux网络编程.我很幸运,还因为大一时某次邹大牛(yuhan童鞋,尽管你不知道,但就是你了!!)Q群上不经意地说到搞Linux不错,这才让我这菜鸟有了初步印象,时隔两年之后走上了后台开发的道路,而且很幸运地在wenhack童鞋和linuxayn师兄的指点下,找准了入门的方向,从APUE到UNP到TCP/IP到POSA,一路下来,没有经历过多少弯路就越过了门槛.现在想起来,确实有种鬼使神差的感觉.最后,非常感谢给了我实习机会的面试官leo,还有诲人不倦谆谆教诲的导师denny,我真是太幸运了!

我只想要当年那个姑娘

一个苦行僧在柴房修行,邻居的姑娘多加照顾,
两人暗生情愫..姑娘同僧人表白,僧人拒绝了,
因为他有更深的梦想.年复一年,姑娘为人妇为
人母为一抔土,僧人得道.佛祖问,你既已得道,
我满足你一个愿望.僧人默然许久,说:”我只想
要当年那个姑娘.”

如果一定要说在大学中学到了什么,好吧,是视野.以前我从不相信什么天才,但是,一个师弟,一个初中就写过带图形界面的操作系统,汇编,c,算法,网络编程无所不通身上爆发者各种闪光点的孩子让我彻底明白了,天才是存在的,而且就在我身边.无数次震撼极大的扩大了我的视野,天外有天,人外有人,深深愧疚于自己的不足的我,一定要努力,像某人说的那样,做一只癞蛤蟆,不做青蛙.

最后,我想起了右边那个故事,回首4年大学生活,曾经浪费的时光再也找不回,但实际上我没有什么后悔的,年少时的错误正是成长的代价,拒绝了错误,也就拒绝了成长.

Dont Ask To Ask
About

Hello,我是rip,这是我的个人博客,目前都是些闲言碎语的垃圾随笔,努力转型为技术博客中...--from ripwu
Google Search
Calendar

January 2013
M T W T F S S
« Jan
1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30 31
Archives
Meta
License

除非另有声明,本站文章采用知识共享署名-非商业性使用-相同方式共享 3.0 许可协议进行许可.

January 2013
M	T	W	T	F	S	S
« Jan
	1	2	3	4	5	6
7	8	9	10	11	12	13
14	15	16	17	18	19	20
21	22	23	24	25	26	27
28	29	30	31

robertzhouxh

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
vim最新转载的

vim入门,进阶与折腾ripwu Programming >> vim Permalink 12.01.21 2,883 views 9 comments作为编辑器之神,vim一直是我编辑文本的不二选择,哪怕其坎坷的学习曲线让人头疼不已.末学总结一下经验教训,以作备忘.入门个人习惯编译选项./configure –with-features=
复制链接

扫一扫