- 博客(2)
- 收藏
- 关注
RSS订阅原创 推理框架学习笔记
当OOM时，比如说给一个声明周期较长的小tensor分配了较大的块，动态计算的时候后向需要一些前向的数据，不得不将相应的生命周期拉长，导致存储被切割，为了解决溢出问题，会尝试释放缓存，然后再通过cudaMalloc申请对于分配的大小大于需求，对于小于1MB和1MB-10MB的申请，分配的块可能会需要再split，split是按stream记录的，避免复用造成踩踏。释放会将块返回到pool中，当返回一个块时，如果相邻块也空闲，就会将它们合并成一个更大的块。
2024-08-10 23:54:55
839
原创 将PaddleOCR源码编译成动态链接库，进行QT演示程序开发，并用windeployqt打包和Inno Setup制作安装包
基于PaddleOCR源码进行二次开发，利用qt编写界面交互以及使用windeployqt打包程序，或者借助innosetup制作安装包
2023-09-27 23:37:44
1140
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人