ICaozei-CSDN博客

原创 DataWhale AI夏令营大模型应用开发 - Task4 源大模型微调实战

LoRA 是通过低秩矩阵分解，在原始矩阵的基础上增加一个旁路矩阵，然后只更新旁路矩阵的参数。参考资料LoRA paper大模型轻量级微调（LoRA）：训练速度、显存占用分析【深度学习】混合精度训练与显存分析全网最全-混合精度训练原理2 源2.0-2B 微调实战本节我们将进行源2.0-2B 微调实战，我们使用一个简历命名实体识别的数据集进行微调，进而开发一个AI简历助手，进而可以批量地自动识别并提取简历中的关键信息（如姓名、教育背景、工作经历等），提升简历处理的效率。

2024-08-21 14:59:12 863

原创 Datawhale X 魔搭 AI夏令营-AIGC文生图方向 task03笔记

LoRA (Low-Rank Adaptation) 微调是一种用于在预训练模型上进行高效微调的技术。它可以通过高效且灵活的方式实现模型的个性化调整，使其能够适应特定的任务或领域，同时保持良好的泛化能力和较低的资源消耗。这对于推动大规模预训练模型的实际应用至关重要。

2024-08-16 21:07:26 623

原创 DataWhale AI夏令营大模型应用开发 - Task3 RAG实战

知识局限性：大模型的知识来源于训练数据，而这些数据主要来自于互联网上已经公开的资源，对于一些实时性的或者非公开的，由于大模型没有获取到相关数据，这部分知识也就无法被掌握。数据安全性：为了使得大模型能够具备相应的知识，就需要将数据纳入到训练集进行训练。然而，对于企业来说，数据的安全性至关重要，任何形式的数据泄露都可能对企业构成致命的威胁。大模型幻觉：由于大模型是基于概率统计进行构建的，其输出本质上是一系列数值运算。

2024-08-16 20:06:17 927