- 博客(126)
- 收藏
- 关注
RSS订阅
1原创 onnx底层入门
架构报错onnx 模型调试pytorch 成功转换为onnx 模型的条件案例：缺少 映射关系案例： 缺少映射关系案例： 自定义torch 算子案例： debug 每一层，判定前后精度是否损失。
2024-10-11 17:18:29
1011
原创 onnx代码解读
torch.jit.trace 相关代码解读onnx 内部实现3 查看是否为aten 算子aten 算子实现torch.autograd.Functions 算子实现自定义算子实现查找未实现的节点一次性发现所有的未实现 aten 算子。
2024-10-11 17:12:54
304
原创 FAIL : Failed to load library libonnxruntime_providers_cuda.so with error: libcublasLt.so.11: cannot
安装： conda install cudatoolkit。
2024-09-26 14:13:30
271
原创 1Torch was not compiled with flash attention. (Triggered internally at C:\actions-r unner_work\pytor
改为： pip install torch。解决： 降低torch版本，
2024-09-25 16:32:28
649
原创 ImportError: DLL load failed while importing onnx_cpp2py_export :动态链接库（DLL）初始化历程失败
解决：先说解决办法:将1.16.2版本的onnx降级为1.16.1。
2024-09-19 17:44:04
711
原创 UnicodeEncodeError: ‘latin-1‘ codec can‘t encode characters in position 41-44: Body (‘学术快报‘) is not
需要修改json 的 编码方式。
2024-09-13 10:58:28
400
原创 ValueError: check_hostname requires server_hostname
这种时候可能是你开了vpn连接了外网，关掉vpn即可。
2024-09-12 10:46:13
253
原创 gitlab使用教程
pycharm 克隆代码pycharm 克隆分支type 提交指令使用可视化界面SourceTreepycharm中git 基本使用获取和拉取的区别，update project 区别sourceTree 回退版本sourceTree 回滚代码。
2024-08-26 17:12:49
938
原创 from llama_index.embeddings.huggingface import HuggingFaceEmbedding
一、定义。
2024-08-19 17:32:39
410
原创 AssertionError: daemonic processes are not allowed to have children
DataLoader(dataset=mydataset,batch_size=20,shuffle=True,num_workers=0,collate_fn=collator,drop_last=False) 将num_workers 改为0。
2024-08-19 15:24:11
344
原创 torchviz工具入门
定义部署案例二、实现定义TorchViz是一个用于可视化 PyTorch计算图的工具库，查看模型结构、以及算子流向图。文档：https://graphviz.org/部署1. 安装torchviz安装graphviz.exe下载:https://graphviz.gitlab.io/_pages/Download/Download_windows.html打开cmd(win+R,输入cmd) ,或者打开Anaconda Promopt。
2024-07-22 09:04:38
395
原创 模型剪枝入门
1.定义2. 案例13. 全局剪枝案例4. 全局剪枝案例5. 自定义剪枝6. 特定网络剪枝7. 多参数模块剪枝8. torch.nn.utils.prune 解读。
2024-07-21 11:04:16
331
原创 pageAttention学习
定义paged attention_v2 使用vllm 中 flash attention 代码xformer中flash attention 代码paged attention 、flash attention 比较nsight compute 分析paged attentionprofiler 分析paged attention二、实现定义paged attention_v2 使用vllm 中paged attention 是使用cuda 使用的，如下图。
2024-07-15 11:41:26
1224
原创 profiler模型性能分析与优化入门
profiler 作用入门pyproftorch.summary/torchinfo 模型参数量分析以及模型可视化profiling 参数分析-模型分析分析某一个算子做内存快照。
2024-07-15 11:03:36
417
原创 nsightcompute进阶
1 python 代码测试2 roofline analysis 屋檐模型分析3 summary 分析4 Speed of light throughput 分析5 带宽分析6 内存分析。
2024-07-12 14:57:56
1238
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人