splice系统调用实现的TCP代理

原创 2013年12月01日 22:46:51
正如Linus所说,splice实际上是内核空间的read/write,而tee则是内核空间的memcpy,至于sendfile,它只是一种特定的优化,该优化对于可以使用page cache的文件系统有效。
       Linus反复强调buffer,用来回答关于“为何splice和tee都要依赖管道”,也就是说,文件描述符的IO依赖于一种buffer,至于说sendfile为何没有使用buffer,那是因为只有适用于page cache的文件描述符才能使用sendfile,而page cache本身就可以作为一种buffer!
       为何不能做一个系统调用,可以直接将一个socket的数据发往另一个socket呢?不是说不能,而是为了API的稳定性,肯定不能单独为socket这种文件做一个splice,更加合理的是实现一个splice,其文件描述符可以是任意的文件描述符。然而如此一来就要在file_operations结构体里面添加新的适用于任意文件的钩子函数splice from/to,这样不是不可以,而是将一类文件和另一类文件通过splice关联了起来。比如从一个socket写到一个字符设备,第一,socket要知道该字符设备如何被写入,第二,字符设备要知道socket如何被读取...因此正规的splice使用了一个buffer,这就是pipe。总而言之,涉及到两个文件之间内容通信的话,必然需要一个buffer,这里的“必然”一词很有意思,不是基于能不能实现考虑,也不是基于性能考虑,而是基于API的稳定性以及设计的简单性考虑,用户态的read/write接口有一个参数就是buffer,splice虽然是内核态的,也需要一个buffer,内核态的现成buffer是什么呢?是pipe。
       以下是一个最简单的使用splice实现的TCP代理程序,如果不看上面扯的那些,可能对调用两次splice有点失望了,毕竟可以直接splice(sock1, NULL, sock2, NULL, 65535, 0)啊,可是必然需要一个buffer的话,就造一个内核buffer,即pipe,这样pipe+splice不再像buffer+read/write那样亲自干活了,它们变身为一个管理者,只发送指令,之后自己不用做事,静等内核完成内容的转移,没有看出效果的同学们,可能你们的数量量太小了,毕竟在内核空间copy内存和内核空间用户态之间copy内存是不同的,除了一系列的处理器检查之外,缺页处理也是一大户啊。下面是代码,没有异常处理,没有错误判断,直奔主题(splice代理即无极变速代理):
#define _GNU_SOURCE
#include <stdlib.h>
#include <stdio.h>
#include <fcntl.h>
#include <poll.h>
#include <netdb.h>
#include <sys/socket.h>
int main(int argc,char *argv[])
{
        int fd, client_fd, server_fd, ret;
        int yes = 1;
        struct sockaddr_in addr = {0};
        fd = socket(AF_INET,SOCK_STREAM,0);
        addr.sin_family = AF_INET;
        addr.sin_port = htons(1234);
        addr.sin_addr.s_addr = inet_addr("192.168.4.29");
        ret = bind(fd,(struct sockaddr *)(&addr),sizeof(struct sockaddr));
        ret = setsockopt(fd,SOL_SOCKET,SO_REUSEADDR,&yes,sizeof(yes));
        ret = listen(fd,5);
        socklen_t len = sizeof(addr);
        client_fd = accept(fd,(struct sockaddr*)(&addr),&len);
        { //接收客户端,连接服务端。
                struct sockaddr_in addr = {0}, addr2= {0};
                struct in_addr x;
                inet_aton("192.168.4.28",&x);
                addr.sin_family = AF_INET;
                addr.sin_addr = x;
                addr.sin_port = htons(12345);
                server_fd = socket(AF_INET,SOCK_STREAM,0);
                ret = connect(server_fd,(struct sockaddr*)&addr,sizeof(addr));
        }
        { //将客户端数据转发到服务端
                struct pollfd pfds[2];
                int pfd[2] = {-1};
                int ret = -1;
                pfds[0].fd = client_fd;
                pfds[0].events = POLLIN|POLLOUT;
                pfds[1].fd = server_fd;
                pfds[1].events = POLLIN|POLLOUT;
                ret = pipe(pfd);
                while (1) {
                        int efds = -1;
                        if ((efds = poll(pfds,2,-1)) < 0) {
                                return -1;
                        }
                        //两次splice,第一次sock_client->pipe,第二次pipe->sock_server
                        if(pfds[0].revents & POLLIN) {
                                int rncount = splice(pfds[0].fd, NULL, pfd[1], NULL, 65535, SPLICE_F_MORE);
                                int wncount = splice(pfd[0], NULL, pfds[1].fd, NULL, 65535, SPLICE_F_MORE);
                        }
                }
        }
}
我不晓得有没有人使用这种方式实现,因为我只关注OpenVPN,但是我还是真觉得这种方式比较靠谱,因为所谓的代理有两种:
1.一种是为了去控制。代理不想让你直接的访问目标,需要做一些前置工作,比如ACL,比如流控等等。
2.另一种是为了摆脱控制。为了防止内部人员随意访问外部,封掉了端口,但是你可以使用代理访问外部。

除此之外,代理就是一个转发器,作为转发功能,和以上两点无关,而以上两点,完全可以在while之前完成!
版权声明:本文为博主原创,无版权,未经博主允许可以随意转载,无需注明出处,随意修改或保持可作为原创!

相关文章推荐

linux splice使用示例 (使用socket服务于单用户的回射服务器)

#define _GNU_SOURCE #include #include #include #include #include #include #include #include v...

splice系列系统调用

关注splice系列系统调用(包括splice,tee和vmsplice)已经有一段时间了,开始的时候并未能领会splice的意义所在,致使得出了“splice系列系统调用不怎么实用”的错误结论。随着...

Linux 的 splice 和sendfile系统调用

Linux内核有zero copy的函数。nginx和proftpd中用到sendfile(文件到socket),haproxy则用到slice(socket到socket),比较下来,haproxy...

linux网络编程九:splice函数,高效的零拷贝

最近在看《linux高性能服务器编程》,在此做个日记,以激励自己,同时分享于有需要的朋友。 1. splice函数 #include ssize_t splice(int fd_in, ...

c++中pimpl用法总结

在编写稳定代码是,管理好代码间的依赖性是不可hu
  • newyher
  • newyher
  • 2014年10月13日 16:30
  • 893

面向模式的软件体系结构电子书合集

0716-案例与论文.pdf: http://www.t00y.com/file/90945949 0717-案例与论文.pdf: http://www.t00y.com/file/9094...

Linux下提高性能的系统调用sendfile,splice和tee

熟悉Linux内核2.4版本的也许知道:在2.4版的内核中内嵌了一个叫做khttpd的静态网页服务器。当时,可能是效率的因素致使她被添加了进来,至于为什么最新的2.6版内核去掉了这个服务器,我考虑可能...

Linux 的 splice 和sendfile系统调用

都是为了减少用户和内核直接的数据复制的, 就是所谓的 “zero copy”。 普通的 read 和write系统调用,数据需要从内核空间复制到用户空间的。  sendfile ...

Linux从用户层到内核层系列 - TCP/IP协议栈部分系列11: 再话Linux系统调用

题记:本系列文章的目的是抛开书本从源代码和使用的角度分析Linux内核和相关源代码,byhankswang和你一起玩转linux开发轻松搞定TCP/IP协议栈,原创文章欢迎交流, byhankswan...

linux-kernel 3.5.3Tcp系统调用,源码分析2-sys_socket & sock_create

sys_socket的实现: SYSCALL_DEFINE3(socket, int, family, int, type, int, protocol) (前面已经说过这个宏最终会展开为sys_s...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:splice系统调用实现的TCP代理
举报原因:
原因补充:

(最多只允许输入30个字)