- 博客(16)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 矩阵求导及大模型剪枝算法SparseGPT基础OBS理论推导
本文简要回顾并总结了矩阵求导的求解技巧及知识点，并推导了大模型剪枝算法SparseGPT的基础OBS的理论，例如海森矩阵求导，误差对权重的偏导等
2024-10-24 19:50:02
887
原创 大模型实现低显存推理优化——DeepSpeed 安装及OffLoading相关代码实现
本文介绍了大模型显存推理优化只OffLoading技术，具体涉及DeepSpeed以及Accelerate的相关介绍以及代码测试
2024-09-24 16:47:30
1437
原创 大模型加速与压缩之wanda代码详解
本文详细介绍了Wanda剪枝的代码实现。以剪枝OPT-125m模型为例，详细介绍了Wanda剪枝算法的步骤，包括加载预训练模型、使用校验数据执行前向传播计算得到layers的输入、执行layer剪枝以及评估剪枝后的模型。剪枝过程主要针对模型中的线性权重，如nn.Linear。通过计算权重和激活的乘积，确定权重的重要性，并进行非结构化或结构化剪枝。
2024-09-07 13:46:29
771
原创 Pruner-Zero论文阅读与代码有效复现及相关记录——SparseGPT/Wanda同理
大模型剪枝技术之Pruner-Zero代码复现即相关问题记录
2024-08-07 21:52:05
917
原创 Win11本地Pycharm与Vscode实现最有效远程连接Ubuntu服务器——深度学习项目代码远程运行与调试的有效配置
Win11本地Pycharm以及Vscode通过远程连接服务器的项目，进行配置的完整步骤。可以实现在本地有效运行和调试服务器远程项目代码。本文介绍了大模型加速与压缩在本地调试代码时的基本配置和步骤
2024-08-06 21:58:13
1013
1
原创 Anaconda安装及常用命令、环境复制与迁移——适用于快速高效配置复杂的深度学习环境配置，单台电脑与多台电脑都可操作
Anaconda环境复制与迁移——同台电脑下，单一用户的环境复制，不同用户的环境复制以及不同电脑下用户之间的环境复制与迁移，适用于服务器配置深度学习环境时的快速安装。考虑到单独安装下载比较费时，可以直接复制他人的环境，并在此基础上供自己使用，节省大量时间，提高效率
2024-08-01 09:47:26
2456
原创 AxMath（MathType）公式变为图片的有效解决方案——word多行公式对齐，编号超出页面修正
针对SCI期刊投稿被接受后，编辑处理word文章时AxMath公式变为图片的问题。
2024-07-30 12:31:19
1306
原创 大模型基础配置之Win11安装HuggingFace Transformers库
Transformer是大语言模型(Large Language Model, LLM)的基础架构Transformers库是HuggingFace开源的可以完成各种语言、音频、视频、多模态任务情感分析文本生成命名实体识别阅读理解：给的那个上下文，从上下文提取答案掩码填充：完形填空文本摘要机器翻译文本表征对话机器人相关库的介绍及其地址Transformers库：核心库模型加载，训练，流水线Tokenizer：分词器，预处理Datasets：数据集库。
2024-07-18 18:54:41
1053
原创 win11 WSL ubuntu安装CUDA、CUDNN、TensorRT最有效的方式
WSL ubuntu安装CUDA、CUDNN、TensorRT最有效的安装，避坑指南，亲测可行
2023-12-24 16:02:54
7430
14
原创 C-C 法混沌时间序列 Matlab与Python代码
C-C法混沌时间序列相空间重构，求解延迟时间和嵌入维度，以及重构的Matlab与python代码
2023-03-02 11:40:16
4685
36
原创 YOLOX训练、测试、部署（python,C++）与改进
Yolox训练自己的数据集、测试、Python、C++部署TensortRT推理以及模型改进思路
2023-01-10 12:30:42
1436
原创 算法工程师实习总结(7-9)
算法工程师实现第一个月之软件开发，利用python PyQt5、Opencv、Qt实现多任务RTSP视频流播放及区域画线界面UI
2022-09-12 12:51:08
1598
原创 中文邮件分类[朴素贝叶斯、支持向量机、Logistic,TF-IDF,词袋模型]
本文通过两种文本向量化的方式即TF-IDF和词袋模型对中文文本邮件进行预处理，利用朴素贝叶斯、支持向量机、Logistic回归3种模型分别在两种向量化方式下进行建模分析，通过对比各个模型在对应向量化方式的训练精确度和测试精度以及分析ROC曲线图，利用网格搜索和交叉验证的方法此基础上，得到朴素贝叶斯模型表现最优的参数,对应交叉验证平均精确度为0.935，测试集精确度为0.936，比原始参数高17.2%，证明了模型的可靠性。
2021-11-30 20:09:01
4162
10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人