- 博客(5)
- 收藏
- 关注
RSS订阅原创 预训练语言模型公平性-公平性度量、去偏方法
● Context-debias[5]一种微调方法，通过在中间（隐藏）层中的正交投影，消除预训练上下文嵌入中的词或句子级别的不同粒度或不同层(实验选用了第一、最后一、所有层)的偏见,保留了预先训练的上下文单词嵌入模型中的语义信息。● A中去偏，T中保留语义信息。
2024-08-09 17:07:20
565
原创 模型压缩-模型蒸馏、模型剪枝、模型量化
过参数化主要是指在训阶段，在数学上需要进行大量的微分求解，去捕捉数据中的微小的变化信息，一旦完成迭代式的训练之后，网络模型在推理的时候不需要这么多参数，而剪枝算法正是基于过参数化的理论基础提出来的。剪枝算法核心思想就是减少网络模型中的参数量和计算量，同时尽量保证模型的性能不受影响。数字精度（如32位浮点数、16位浮点数或8位浮点数或8位整数），所能表示的范围不同。不同的数字精度会影响模型大小和推理时间，范围越大，精度越高，模型越大，推理时间越长。卷积神经网络特点：参数量大，计算量大，内存占用多，精度高。
2024-08-07 23:36:48
597
原创 LLM大语言模型-ChatGPT、LLaMA、ChatGLM、文心一言、通义千问
LLM大语言模型-ChatGPT、LLaMA、ChatGLM、文心一言、通义千问。
2024-07-25 17:31:31
832
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人