山东大学项目实训——个人纪录（五）

目录

项目团队

本周任务

学习内容

DrugChat模型

微调

---

项目团队

DrugLLM开发团队

本周任务

前一周，通过学习与研究，已经构建起了对项目基本面的坚实理解。本周，通过更加系统地阅读高质量的博客文章与前沿学术论文，来精进知识体系。

学习内容

DrugChat模型

1、分子结构输入：用户可以通过上传化合物的分子结构图或提供化学式，作为与系统交互的起点。

2、智能解析与分析：系统内置的AI模型能够解析接收到的分子信息，利用预先训练好的算法评估该分子的各种物理化学性质，比如药代动力学性质（PK）、药效动力学性质（PD）、毒性预测等。

3、多轮交互性对话：用户可以根据初步分析结果，进一步提出问题或调整分子结构，DrugChat会即时响应，提供更深层次的分析、建议或对比不同分子设计的优劣，这种互动性极大地增强了用户探索药物设计空间的能力。

4、知识整合与创新建议：除了基于结构的计算预测外，DrugChat还能结合大量的药物研发文献、专利数据及已知药物信息，为用户提供创新药物设计思路或优化方案。

微调

微调其核心思想是利用在大型数据集上预训练好的模型作为起点，针对特定任务进行针对性的调整和再训练，以适应新的任务需求。

预训练模型选择：选取一个已经在大规模数据上训练过的模型，这个模型已经学会了广泛的特征表示，例如BERT在语言处理或ResNet在图像识别领域的应用。

模型调整：根据新任务的特点，调整预训练模型的结构。这可能涉及添加或替换模型的顶层，以匹配新任务的输出要求，比如分类或回归任务的输出层。

参数微调：决定哪些模型参数在微调过程中进行更新。通常，会固定模型的低级层（这些层学习到的基本特征较为通用），仅对高层或新增的层进行训练，有时也会以较低的学习率对更多层进行微调，以避免破坏预训练学到的有价值信息。

数据准备：准备与目标任务相关的较小数据集，用于微调过程中的训练和验证。

训练与验证：在新数据集上进行训练，同时利用验证集监控模型性能，以防止过拟合，并调整学习率、训练轮次等参数以优化模型。

评估与测试：在独立的测试集上评估模型的最终性能，确保模型泛化能力强，能有效处理未见过的数据。