大模型联邦学习-CSDN博客

原创【论文阅读笔记】Large Language Models AreZero-Shot Time Series Forecasters

但时间序列中的是数值型数据。因此，Touvron 等人设计了LLaMA标记器，将数字映射到各个数字上，这可以在数学能力方面带来显著的提升，即使是小型LLaMA模型也能超过GPT-4的表现。：与其他利用LLM骨干结构的方法不同，作者的方法完全是零样本（zero-shot）的，不需要微调。同样，Zhang等人介绍了Meta-Transformer，这是一个用于微调语言模型以适应非文本模态的框架，包括时间序列。：作者还开发了利用大型语言模型的概率本质及其捕获高度随机时间序列不确定性的能力，这超越了之前的工作。

2023-11-04 13:30:43 588 1

原创【阅读笔记】Heterogeneity for the Win: One-Shot Federated Clustering

对于联邦学习我们常常考虑的是保护隐私的分布式有监督学习任务的训练。该文章考虑的是联邦学习怎么用于无监督学习之一的聚类问题。该文章研究的主要问题是每个client由于数据局限性，只有部分的类别数据，在这样数据异构（Non-IID）的情况下如何进行高效的聚类。此外，该方法也可以帮助一些监督学习联邦学习，特别是基于聚类的个性化联邦学习算法。该论文提出的方法最大的特点是one-shot，client只需要与server进行一次数据传输即可。具有较强的鲁棒性并能减少开销。

2023-10-08 19:59:03 170 1

原创 Generative Time Series Forecasting with Diffusion,Denoise, and Disentanglement 阅读笔记

如何减少这些噪声的影响，本文在用diffusion过程来序列进行建模，分离出去噪的原始数据。为了增强模型的可解释性，对提取的变量进行分解，最小化Total Correlation实现。在现实世界中，数据存在各种噪声，input有噪声，output也有噪声。因为扩散过程得到的Y可能偏向更大的噪声，要限制偏离程度。时间序列预测：输入一段时间序列预测未来的时间序列。这一部分是为了使得预测的分布接近label得分布。为什么耦合，因为他们的扩散过程的参数是相关的。2个假数据，6个真数据集。

2023-09-09 14:35:27 259 1

原创深度学习程序占用GPU显存，但计算利用率低的可能原因

nvidia-smi查看GPU情况明明显存和使用率充足，但运行代码后计算利用率（GPU-Util）始终很低。网上查了很多资料说是CPU读写操作太多，但排查后发现主要时间用在模型的前向传播过程。但watch nvidia-smi又发现只有短时间GPU计算利用率不是0%。最后顺手kill掉一些占用GPU的程序，把显存都释放了，发现可以正常运行了，记录下提醒自己及时kill掉因为ctrl+c未及时释放GPU的程序。显存余量越多代码算得越快，太少了会把程序卡死，不过好像算是计组的常识。

2023-08-08 21:46:17 797

原创 Relational Context Learning for Human-Object Interaction Detection

该文章研究的是人类物体交互检测的方法，之前的基于transformer的方法只是将整个图像输入进去得到人体、物体和交互动作的识别的结果，或者是只将人体物体的检测用一个transformer检测，而交互动作用另一个transformer检测。但已有的方法仅限于将人与物体的上下文传播到交互上下文，还是存在缺失三者交互信息的学习，需要改进。问题的输入是图片，输出是要得到人体和物体的检测框位置，以及物体的类别和动作类别。指标： AP 物体检测准确读指标，通过计算每种HOI的AP来反应HOI的效果。

2023-07-09 21:56:46 148 1

原创 Decentralized Training of Foundation Models inHeterogeneous Environments 阅读笔记

大模型不断取得耀眼的成绩并飞速发展，Chat-GPT的出现更是证明了这一点训练大模型的开销非常大：训练GPT3-175B需要3.6K Petaflops-days，在AWS云服务中消耗这么多算力需要400万美元OpenAI定义神经网络中的一次乘法或者一次加法为一个操作，这一点和一般意义上的浮点运算操作FLOP略有不同。如果每秒钟可以进行10的15次方运算，也就是1 peta flops，那么一天就可以进行约10的20次方运算，这个算力消耗被称为1个petaflop/s-day。

2023-05-04 19:56:55 245 3

原创 Blockchain Assisted Decentralized Federated Learning 阅读笔记 TPDS’2022

本文做的工作是把挖矿任务也交给训练模型的用户,即用户即要训练模型又要进行挖矿.同时本文计算了改方法的收敛上界,并用实验结果接近上界.最优化了挖矿和训练两种行为的计算资源分配.同时考虑了lazy clients的情况,考虑了lazy client的存在对性能的影响。目前的区块链联邦学习中的区块链和参与联邦学习的用户独立,相当于服务器换成了一条区块链,也会有。区块链:去中心化的账本.每个区块包含交易记录,新的区块由计算出随机数。实际实验也在相同的最优K的下达到最小loss。目前的区块链联邦学习的工作缺乏对。

2023-02-12 19:30:54 427 3

weixin_42649288的博客