Linux-2.6.25 TCPIP函数调用大致流程

Linux-2.6.25 TCPIP函数调用大致流程
学习目的，随手笔记。函数和文字说明会不断补充更新。

Changelog
2008.10.08 最近找工作忙。暂时缓缓

插口层
系统调用
send
sys_send
sys_sendto
sendto
sys_sendto
sock_sendmsg
sendmsg
sys_sendmsg
sock_sendmsg
write
sys_write
vfs_write
file->f_op->write = do_sync_write
filp->f_op->aio_write = sock_aio_write
do_sock_write
__sock_sendmsg
writev
sys_writev
vfs_writev
do_readv_writev
do_sync_readv_writev
sock_aio_write
do_sock_write
__sock_sendmsg
recv
sys_recv
sys_recvfrom
recvfrom
sys_recvfrom
sock_recvmsg
recvmsg
sys_recvmsg
sock_recvmsg
read
sys_read
vfs_read
file->f_op->read= do_sync_read
filp->f_op->aio_read= sock_aio_read
do_sock_read
__sock_recvmsg
readv
sys_readv
vfs_readv
do_readv_readv
do_sync_readv_readv
sock_aio_read
do_sock_read
__sock_recvmsg
socket
listen
connect
bind
select
close
shutdown
ioctl
getsockname
getpeername
setsockopt
getsockopt

内部实现函数
sock_sendmsg
__sock_sendmsg

__sock_sendmsg
sock->ops->sendmsg
对于TCP就是tcp_sendmsg，否则就是inet_sendmsg。后者调用sk->sk_prot->sendmsg，会继续分用为udp_sendmsg或raw_sendmsg函数

sock_recvmsg
__sock_recvmsg

__sock_recvmsg
sock->ops->recvmsg = sock_common_recvmsg
sock_common_recvmsg对于不同协议，是tcp_recvmsg，udp_sendmsg或raw_sendmsg函数。

运输层

TCP
系统调用sys_connect间接调用了tcp_v4_connect
tcp_v4_connect
ip_route_connect(寻找路由)
__ip_route_output_key
ip_route_output_flow★
tcp_connect(构造一个SYN并发送)
tcp_transmit_skb
inet_csk_reset_xmit_timer(启动一个超时定时器,等待SYN+ACK)


TCP的写函数最终都调用了tcp_sendmsg
tcp_sendmsg★
__tcp_push_appending_frames
tcp_write_xmit
tcp_transmit_skb
tcp_push_one
tcp_transmit_skb
tcp_push
__tcp_push_pending_frames

TCP发送数据共有三种途径__tcp_push_appending_frames,tcp_push_one,tcp_push，其中tcp_push调用了__tcp_push_pending_frames。到底调用哪个或哪些函数取决于是否有PUSH标志、NAGLE是否开启、和一些其他情况。
__tcp_push_appending_frames是试图一次发送完缓存队列中所有的skb。tcp_push_one先计算拥塞窗口，然后只发送窗口大小的数据，如果窗口大小为0，则不发送任何数据。


TCP实际的发送函数，tcp_transmit_skb
/* This routine actually transmits TCP packets queued in by
* tcp_do_sendmsg(). This is used by both the initial
* transmission and possible later retransmissions.
* All SKB's seen here are completely headerless. It is our
* job to build the TCP header, and pass the packet down to
* IP so it can do the same plus pass the packet off to the
* device.
*
* We are working here with either a clone of the original
* SKB, or a fresh unique copy made by the retransmit engine.
*/
tcp_transmit_skb
build包头
icsk->icsk_af_ops->queue_xmit = ip_queue_xmit★


硬件->IP层->运输层收到数据，添加到对应的SOCKET缓冲区中，回复ACK
由ip_rcv间接调用
tcp_v4_rcv
__inet_lookup(根据一些参数，查找sock结构)
__inet_lookup_established(在已经建立的连接中找，通过inet_lhashfn在哈希表中查找)
__inet_lookup_listener(在监听中的Socket中找，通过inet_lhashfn在哈希表中查找)
tcp_v4_do_rcv
tcp_rcv_established(ESTABLISHED)★
tcp_child_process
tcp_rcv_state_process
tcp_rcv_state_process(除ESTABLISHED和TIME_WAIT之外)★
tcp_prequeue(见后面详细解释)
sk->sk_backlog_rcv = tcp_v4_do_rcv(又回到开头)
sk_add_backlog(见后面详细解释)
tcp_timewait_state_process(TIME_WAIT)
tcp_v4_timewait_ack(TIME_WAIT)
tcp_v4_send_ack(发送ACK)

sock结构被初始化的时候，发送和接收数据的缓冲队列也被初始化完成，接收数据用到以下三个队列:
sk->receive_queue
sk->prequeue
sk->sk_backlog
sk->prequeue:如果sk没有被用户态程序锁定,则先进入prequeue
sk->receive_queue:接收到数据包的sk_buff链表队列，如果数据包过多，造成receive_queue满，或者sock被用户程序锁定，将转入sk_backlog
sk->sk_backlog:当sock_owned_by_user函数返回真时候，(sk)->sk_lock.owner被锁定，使用sk_add_backlog()函数(该函数实现非常简单，只是一个为链表添加节点的动作)将SKB加入这个后备队列。


tcp_rcv_established
TCP接受里面最主要的就是tcp_rcv_established和tcp_rcv_state_process了
tcp_rcv_established★
if(fast path)
检查包头各字段
tcp_ack(处理CK)
tcp_data_snd_check(发送ACK)
__skb_pull(腾出空间)
__skb_queue_tail(把数据追加到接受缓冲区)
else(slow path)
tcp_data_queue
对滑动窗口、序号做出处理
__skb_pull
__skb_queue_tail
tcp_event_data_recv(更新状态)


tcp_rcv_state_process
TCP协议的状态机，状态转移函数。ESTABLISHED和TIME_WAIT状态之外的其他状态都会调用此函数
tcp_rcv_state_process★
icsk->icsk_af_ops->conn_request(是tcp_v4_conn_request，LISTEN状态)
tcp_v4_send_synack(发送SYN+ACK)
ip_build_and_send_pkt
ip_local_out
__ip_local_out
nf_hook(dst_output)
dst_output
tcp_rcv_synsent_state_process(SYN_SENT)
tcp_reset
tcp_ack(收到ACK)
tcp_set_state(SYN_RECV->ESTABLISHED或者FIN_WAIT1->FIN_WAIT2)
tcp_time_wait(CLOSING->TIME_WAIT)
tcp_update_metrics(LAST_ACK)
...(都是和TCP协议状态转移相关的东西，这里目的是打通上下，以后慢慢分析)


还有两个出镜率较高的函数tcp_v4_send_reset和tcp_v4_send_ack
tcp_v4_send_reset(发送RST)
ip_send_reply
ip_route_output_key
ip_push_pending_frames


tcp_v4_send_ack(发送ACK)
ip_send_reply
ip_route_output_key
ip_push_pending_frames


用户子上而下的读函数都间接的调用了tcp_recvmsg
tcp_recvmsg★
skb_copy_datagram_iovec
tcp_recv_urg(接受一个字节的URG数据)

UDP
UDP的写函数都调用了udp_sendmsg
udp_sendmsg★
ip_route_output_flow
ip_append_data
udp_flush_pending_frames
ip_flush_pending_frames
udp_push_pending_frames
ip_push_pending_frames

硬件->IP层->运输层收到数据，添加到对应的SOCKET缓冲区中
由ip_rcv间接调用
udp_rcv
__udp4_lib_rcv
if(是多播或广播)
__udp4_lib_mcast_deliver
udp_queue_rcv_skb(对每个需要接受的UDP SOCKET缓冲调用)
__udp4_lib_lookup
udp_queue_rcv_skb


把数据块sk_buff放到一个sock结构的接受缓存的末尾中
udp_queue_rcv_skb
sock_queue_rcv_skb
skb_queue_tail

用户子上而下的读函数都间接的调用了udp_recvmsg
udp_recvmsg★
__skb_recv_datagram
skb_copy_datagram_iovec
skb_copy_and_csum_datagram_iovec

原始套接字
RAW Socket的写函数都调用了raw_sendmsg
raw_sendmsg★
ip_route_output_flow
if(设置了IP_HDRINCL选项，即自己构造ip头部)
raw_send_hdrinc★
else
ip_append_data
ip_flush_pending_frames或
ip_push_pending_frames


自底向上的收包
raw_rcv
由ip_forward调用ip_call_ra_chain，然后再调用的raw_rcv
raw_rcv
sock_queue_rcv_skb
skb_queue_tail
sk->sk_data_ready = sock_def_readable
waitqueue_active
sk_wake_async


用户子上而下的读函数都间接的调用了raw_recvmsg
raw_recvmsg★
skb_recv_datagram
__skb_recv_datagram
wait_for_packet(如果没有数据，则调用此函数等待数据)


ICMP
在任何需要发送ICMP报文的时候都会调用此函数
icmp_send
__ip_route_output_key
ip_route_output_slow
ip_route_output_key
ip_route_output_flow
icmp_push_reply
ip_append_data
ip_flush_pending_frames或
ip_push_pending_frames


硬件->IP层->运输层收到ICMP数据，作出处理逻辑
由ip_rcv间接调用
icmp_rcv
完全就是icmp协议的处理逻辑，通过函数指针icmp_pointers[icmph->type].handler调用了一下函数中的某一个
icmp_discard
icmp_unreach
icmp_redirect
icmp_timestamp
icmp_address
icmp_address_reply
icmp_echo


网络层
IP发送
网络层中主要的发送函数有以下三个：ip_push_pending_frames，ip_queue_xmit，raw_send_hdrinc
ip_push_pending_frames★
将所有pending状态的IP分组组合成一个IP分组，并发送
ip_local_out


ip_queue_xmit★
ip_route_output_flow(找路由)
ip_local_out


raw_send_hdrinc★
NF_HOOK(dst_output)


ip_local_out★
__ip_local_out
nf_hook(dst_output)
dst_output

路由选择
ip_route_output_flow★
__ip_route_output_key
ip_route_output_slow

路由选择
ip_route_output_slow★
fib_lookup
ip_mkroute_output
__mkroute_output
rt_hash
rt_intern_hash
arp_bind_neighbour
__neigh_lookup_errno
neigh_lookup
neigh_create


dst_output★
dst->output = ip_output
NF_HOOK_COND(ip_finish_output)
dst_output
ip_fragment
ip_finish_output2
neigh_hh_output
hh->hh_output = dev_queue_xmit★
dst->neighbour->output = neigh_resolve_output
neigh->ops->queue_xmit = dev_queue_xmit★

IP接受
接收IPv4包，由netif_rx间接调用
ip_rcv★
NF_HOOK
ip_rcv_finish
ip_route_input
dst_input
dst->input(可能是ip_local_deliver或ip_forward)
if(是发给本地的包)
dst->input是ip_local_deliver
NF_HOOK
ip_local_deliver_finish
ipprot->handler(可能是tcp_v4_rcv,udp_rcv,icmp_rcv,igmp_rcv)
else
dst->input是ip_forward

更新路由
ip_route_input★
ip_route_input_mc(多播)
rt_hash
rt_intern_hash
ip_route_input_slow(其它)
ip_mkroute_input
__mkroute_input
rt_hash
rt_intern_hash
每收到一个IP报文都会调用此函数更新路由表。ip_route_input函数的上半部分是在hash table寻找路由项，如果找到就返回。找不到才会调用后面的ip_route_input_mc或ip_route_input_slow来更新路由表。


转发
ip_forward★
ip_call_ra_chain
raw_rcv★
xfrm4_route_forward(处理路由)
xfrm_route_forward
__xfrm_route_forward
xfrm_lookup
__xfrm_lookup
xfrm_find_bundle
afinfo->find_bundle = __xfrm4_find_bundle
xfrm_bundle_create
xfrm_dst_lookup
afinfo->dst_lookup = xfrm4_dst_lookup
__ip_route_output_key
ip_route_output_slow★
处理各个参数(在一定条件下发送ICMP)
ip_decrease_ttl(减少TTL)
NF_HOOK(ip_forward_finish)
dst_output


链路层
接收帧
由硬件驱动在中断处理程序中直接调用netif_rx
netif_rx★
if(netpoll_rx函数与把数据拿走)
return
__skb_queue_tail(把所有收到的数据保存起来)
napi_schedule
__napi_schedule
__raise_softirq_irqoff(NET_RX_SOFTIRQ);

在net_dev_init函数中初始化了软中断：
open_softirq(NET_TX_SOFTIRQ, net_tx_action, NULL);
open_softirq(NET_RX_SOFTIRQ, net_rx_action, NULL);
所以NET_RX_SOFTIRQ中断的处理函数是net_rx_action，NET_TX_SOFTIRQ中断的处理函数是net_tx_action。需要让上层接收数据时，只要触发相应的软中断，如__raise_softirq_irqoff(NET_RX_SOFTIRQ)。内核就会在适当时机执行do_softirq来处理pending的软中断。


net_rx_action★
n->poll = process_backlog
netif_receive_skb
pt_prev->func = ip_rcv★(在这里完成了交接)
__raise_softirq_irqoff(NET_RX_SOFTIRQ)


发送帧
dev_queue_xmit★
rcu_read_lock_bh
if(设备有发送队列)
q->enqueue(将数据追加到发送队列，软中断处理函数net_tx_action会执行真正的发送工作)
else
dev_hard_start_xmit
dev->hard_start_xmit = el_start_xmit★
调用outw汇编指令发送数据，够底层了
rcu_read_unlock_bh


net_tx_action★
__kfree_skb(释放已发送的，此时中断由dev_kfree_skb_irq函数发起)
qdisc_run
__qdisc_run
qdisc_restart
dev_hard_start_xmit★
netif_schedule
netif_schedule


netif_schedule★
__netif_schedule
raise_softirq_irqoff(NET_TX_SOFTIRQ)