wmproxy
wmproxy
已用Rust
实现http/https
代理, socks5
代理, 反向代理, 静态文件服务器,四层TCP/UDP转发,内网穿透,后续将实现websocket
代理等,会将实现过程分享出来,感兴趣的可以一起造个轮子
项目地址
国内: https://gitee.com/tickbh/wmproxy
github: https://github.com/tickbh/wmproxy
有请主角上场
Socket
是集万千宠爱为一身的王子,在操作系统的王国里,他负责对外的所有通讯,所以要想沟通邻国的公主必须经过他,所以大家对他都是万般友好。
这天一个Rust
城市里的大臣tokio
对他发起了邀请,邀请他来参观严谨的逻辑庄园。
tokio
庄园
庄园中的各成员对即将到来的王子议论纷纷。
大管家mio
说:“大家都想想等下怎么向socket
王子介绍自己,好让他配合大家的工作。”
大管家mio
是tokio
的基石,一切和王国打交道的都交由他去打理,他是保证庄园高效运转的关键,此刻他准备好了欢迎宴会。
在宴会上,socket
听说tokio
庄园是这座城市异步运行
的重要基石,就很好奇的让大伙介绍介绍下怎么工作的。
庄园主tokio
就说:“我是依靠着大管家mio
帮我负责处理底层的事,Waker
来提醒我有新的事情,PollEvented
来帮我管理事件的。下面先让mio
来介绍下。”
管家mio
说:“我负责收集庄园中的所有信息,他们告诉我他们要关心的什么比较,比如您的到来(可读),或者您有什么话想说(可写),我会负责和王国的底层进行沟通,我在这个国家用的是epoll
,据说在遥远的另一个国家用的是iocp
,如果有相应的需求,我将会通知Waker
,由他去提醒庄主来及时的处理,这场宴会也是提前得到通知而进行准备的。”
通知Waker
说:“我所做的事情就是微不足道,我的对接对象是PollEvented
,当他关心读事件,我会向mio
去发起poll_read
请求,如果此时mio
那边已经知道有新的消息了,那我就直接把他们读出来交给民众Poll::Ready
,如果此时还没有新消息,那我会告诉管家,有新消息的时候通知我Poll::Pending
,此时我就在这里等待,直到有新的消息到达我就通知给民众。当他关心写事件,我会向mio
请求poll_write
请求,后续的和收消息的一致。现在给你们展示下包装了一层我的Context和我能换醒的虚表。”
/// 这个在代码里就是经常看到,它就是我的一层浅封装啦。
pub struct Context<'a> {
waker: &'a Waker,
_marker: PhantomData<fn(&'a ()) -> &'a ()>,
}
/// 我通过他来控制回调,保证唤醒的时候能正确的通知
pub struct RawWakerVTable {
clone: unsafe fn(*const ()) -> RawWaker,
wake: unsafe fn(*const ()),
wake_by_ref: unsafe fn(*const ()),
drop: unsafe fn(*const ()),
}
事件PollEvented
说:“庄主要处理的事情太多了,而有些事情又需要等待一层层的反馈,他没法把精力放在一件事情上一直等待,所以就有了我出马,庄主告诉我他关心什么事,我就把它记下来,这样子庄主就可以去处理其它的事,等事件到来的时候我就告诉庄主,这样子庄主就可以高效的处理所有的事件。”
王子觉得他们说了一堆有点啰嗦
“带我看看你们实际的工坊,我要实地考查下。”王子说。
庄主就带着王子来到了,受理工坊,受理工坊正在处理建立受理点:
TcpListener::bind(addr).await
受理点的内容就是PollEvent
:
pub struct TcpListener {
io: PollEvented<mio::net::TcpListener>,
}
当他接受新的受理者的时候:
pub async fn accept(&self) -> io::Result<(TcpStream, SocketAddr)> {
let (mio, addr) = self
.io
.registration()
.async_io(Interest::READABLE, || self.io.accept())
.await?;
let stream = TcpStream::new(mio)?;
Ok((stream, addr))
}
他向PollEvent
注册了可读事情有的时候通知他,此时PollEvent
就建立了一个Waker
对象,当有符合条件的时候就来告诉他:
/// 建立一个可读的Future对象
fn readiness_fut(&self, interest: Interest) -> Readiness<'_> {
Readiness {
scheduled_io: self,
state: State::Init,
waiter: UnsafeCell::new(Waiter {
pointers: linked_list::Pointers::new(),
waker: None,
is_ready: false,
interest,
_p: PhantomPinned,
}),
}
}
底层有mio和系统交互,一旦有数据就通知Waker
,他建在runtime/io/driver.rs
上面
fn turn(&mut self, handle: &Handle, max_wait: Option<Duration>) {
let events = &mut self.events;
// 高效的监听端口
match self.poll.poll(events, max_wait) {
Ok(_) => {}
}
for event in events.iter() {
let token = event.token();
if token == TOKEN_WAKEUP {
} else if token == TOKEN_SIGNAL {
} else {
let ready = Ready::from_mio(event);
let ptr: *const ScheduledIo = token.0 as *const _;
let io: &ScheduledIo = unsafe { &*ptr };
io.set_readiness(Tick::Set(self.tick), |curr| curr | ready);
// 有相应的事件,进行唤醒然后通知上层处理相应的事件
io.wake(ready);
}
}
}
然后看到Waker
工坊上处理:
pub(crate) fn wake_all(&mut self) {
assert!(self.curr <= NUM_WAKERS);
while self.curr > 0 {
self.curr -= 1;
let waker = unsafe { ptr::read(self.inner[self.curr].as_mut_ptr()) };
waker.wake();
}
}
pub fn wake(self) {
// 存在的回调函数及对应的数据,好进行调用
let wake = self.waker.vtable.wake;
let data = self.waker.data;
crate::mem::forget(self);
// 用回调函数的方式处理刚等待执行的线程
unsafe { (wake)(data) };
}
最后又回到了受理工坊,我们知道了一个新的来源TcpStream
的到来,期间在等待的时候,我们可以去处理其它的事情,不至于空有许多人力物力,却在等我的宝的事情到来没法快速处理事情。
王子说:“在只有一个受理的时候你们这么高效,如果有同时多个受理,又需要在处理完访问相同的数据,你们又能处理吗?”
庄主说:“那么接下来就让我带你参观下Poll
工坊,他用同步的方式可以同时处理多个链接。”
参观完异步工坊,庄主又带着王子来到了
只见Poll工坊大屏幕上就出现了一个例子:
#[tokio::main]
async fn main() -> std::io::Result<()> {
use std::{future::poll_fn, task::Poll, pin::Pin};
use tokio::net::TcpListener;
let mut listeners = vec![];
// 同时监听若干个端口
for i in 1024..1099 {
listeners.push(TcpListener::bind(format!("127.0.0.1:{}", i)).await?);
}
loop {
let mut pin_listener = Pin::new(&mut listeners);
// 同时监听若干个端口,只要有任一个返回则返回数据
let fun = poll_fn(|cx| {
for l in &*pin_listener.as_mut() {
match l.poll_accept(cx) {
v @ Poll::Ready(_) => return v,
Poll::Pending => {},
}
}
Poll::Pending
});
let (conn, addr) = fun.await?;
println!("receiver conn:{:?} addr:{:?}", conn, addr);
}
}
他可快速的在函数中同时等待多个端口数据,这种同步的逻辑可以在复杂结构时很方便的书写代码的逻辑。
王子看完后:“现在你的处理能力已经高效又灵活,真正的可甜可咸了,把我的能力发挥完全又简化了操作。”
点击 [关注],[在看],[点赞] 是对作者最大的支持