- 博客(6)
- 收藏
- 关注
RSS订阅原创 论文解读-EMNLP 24-Safely Learning with Private Data
私有数据比公共数据更大、质量更高，能够有效提升大型语言模型 （LLM）的性能。然而，出于隐私考虑，这些数据通常分散在多个孤岛中，这使得其在 LLM 培训中的安全利用成为一个挑战。联邦学习 （FL） 是使用分布式私有数据训练模型的理想解决方案，但 FedAvg 等传统框架由于对客户端的计算要求很高。另一种选择是分割学习，将大部分训练参数保留在服务器，在本地仅训练嵌入层和输出层，降低了客户端的算力要求。尽管如此，它在安全性和效率方面仍面临重大挑战。
2024-12-20 10:00:00
614
原创 pytorch框架中的梯度反向传播
pytorch框架下的loss.backward()是机器学习代码中的重要部分，在最近的一个项目中需要提出模型中间量梯度进行处理，发现开源代码及网上的一些说法存在错误，并且".backward()"方法中有一些基础知识令人混淆，专门写了一个简单的模型测试了torch中的梯度反向传播过程。
2024-03-01 14:22:30
427
1
原创 CNN/Dailymail 数据集的三种处理方式
一份给NLP新手的cnn_dailymail数据集使用方式介绍,适用于huggingface的其他数据集
2023-08-25 20:35:07
2987
2
原创 神经网络（LSTM）中的变长序列处理及多GPU训练
个人写lstm为核心的算法时遇到的一些小问题的总结，主要是变长序列的处理，多GPU训练的使用，以及在使用多GPU训练时同时处理变长序列时遇到数据不能正常传入模型等问题。
2022-08-30 00:21:40
2633
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人