- 博客(4)
- 收藏
- 关注
RSS订阅原创 Splitwise: Efficient Generative LLM Inference Using Phase Splitting
—生成式大型语言模型（LLM）应用正在快速增长，导致大规模部署昂贵且耗电的GPU。我们对LLM推理的特性进行了研究，发现每个推理请求都会经历两个阶段：计算密集型的提示计算（prompt computation / profilling）阶段和内存密集型的生成（token generation / decoding）阶段。每个阶段在延迟、吞吐量、内存和功耗方面都有不同的特性。尽管有最先进的批处理和调度技术，生成阶段的计算资源利用率仍然较低。
2024-09-10 22:04:45
338
原创 DPDK技术详解
DPDK是Intel公司开发的一款高性能的网络驱动组件，旨在为数据面应用程序提供一个简单方便的，完整的，快速的数据包处理解决方案。主要技术有用户态、轮询取代中断、零拷贝，网卡RSS、访存DirectIO等。
2024-08-21 10:41:56
600
原创 【C++中的各种cast类型转换】
**reinterpret_cast** 用于执行底层的类型转换，不受类型安全性约束，而 static_cast 则用于进行安全的静态类型转换。**const_cast**用于将指向常量对象的指针或引用转换为指向非常量对象的指针或引用，或者相反。**typeid_cast**用于执行安全的动态类型转换，类似dynamic_cast，但是更安全。**dynamic_cast**失败返回nullptr或者抛bad_cast异常。**static_cast** 是一种静态类型转换操作符
2024-05-07 21:18:20
651
原创 2021-10-10
解决github文件夹有向右的白色箭头并且不能打开的解决办法解决办法：删除子文件夹里面的.git文件执行git rm --cached [文件夹名]执行git add .执行git commit -m “commit messge”执行git push origin [branch_name]作者：DannyZeng链接：https://www.jianshu.com/p/7cc6ea70e48e来源：简书著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。...
2021-10-10 11:32:13
43
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人