- 博客(15)
- 收藏
- 关注
RSS订阅原创 AI博士读（LLM early stopping）大语言模型早停技术文献
early stopping助力大模型节省耗电。2401.10480 (arxiv) 引入了一种简单而有效的采样过程，称为早期停止自洽性 （ESC）。通过以高置信度窗口停止解码过程，ESC在不牺牲性能的情况下大大降低了SC的成本。进一步推导了ESC的控制方案，以动态选择不同任务和模型的性能-成本平衡，无需额外的模型能力和任务难度的先验知识。实证结果表明，ESC在六个流行的基准上大大减少了思维链推理的实际样本数量，同时达到了相当的性能。我们还展示了ESC的控制方案可以准确地预测各种任务和模型的性能成本权衡。
2025-01-13 20:12:01
378
原创 AI博士读生医多模态掩码建模文献
在自监督技术中，掩码建模涉及预测在训练期间按比例掩码的原始数据部分,以其先进的可转移性和减少对标签的依赖。两种流行的自监督学习技术的框架：（1）对比学习（2）掩码模型（掩码可作为数据增强用途）自监督学习的分类：自监督学习分为 生成类（GPT等模型属于其中的自回归AR类别）和判别类。
2024-06-30 21:56:09
985
原创 AI博士读生医多模态蒸馏网络文献【AI蒸馏技术前沿速览1】
知识蒸馏 （KD）作为一种模型压缩方法，可在 Transformer 模型中使用特殊token进行蒸馏。
2024-06-30 10:51:37
891
原创 AI博士读用于药物发现的Transformer文献 【AI4Science技术报告】
博客文章列举了机器学习模型进行类药分子设计。SMILES Transformer（ST）。机器学习辅助分子生成。
2024-06-29 17:32:08
403
1原创 AI博士读生医多模态智能大模型文献【BioMedAI综述】
【1】文章探索了个性化医疗、数字临床试验、远程监控和护理、流行病监测、数字孪生技术和虚拟健康助手方面的机会。（GPT4Tools等）新工具可以有意义地处理来自多个来源的大量数据，并在生物医学发现、诊断、预后、治疗和预防方面提供价值。药物靶点【2】多模态人工智能（Multimodal AI）涉及各类数据、特征工程（例如，提取、组合/融合）和决策。最先进的（SOTA）模型分为五类：编码器-解码器方法、注意力机制方法、图神经网络方法、生成神经网络方法和其他基于约束的方法。
2024-06-27 19:22:08
1232
原创 蛋白质口袋预测算法——fpocket
fpocket还允许在MD 轨迹上进行口袋检测，适合结合口袋特征的评分函数的开发，并对结合点的可药性进行评估。dpocket可以对多个结构进行分析，tpocket可以用来快速评估空洞的评分函数。事先需安装VMD和PyMOL。
2024-03-24 10:00:05
1149
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人