大模型
weixin_45463503
这个作者很懒,什么都没留下…
展开
-
【大模型---streamlit中的装饰器st.cache_resource()】
是 Streamlit 提供的一个装饰器,用于缓存返回全局资源(如数据库连接、机器学习模型等)的函数。这个装饰器特别适合于那些本质上不可序列化的类型,例如数据库连接、文件句柄或线程等,但也可以用于可序列化的对象。缓存的对象必须是线程安全的,因为它们可能会被多个线程同时访问。用于缓存数据库连接引擎,避免了每次运行时都重新创建连接,从而提高了应用的性能。用于提供一个验证函数来检查缓存数据的有效性,以及。应用的性能,特别是在处理全局资源时。用于限制缓存中的最大条目数,是一个强大的工具,用于优化。原创 2024-03-11 12:22:24 · 930 阅读 · 0 评论 -
【大模型-- LoRA微调原理及代码演示】
LoRA(Layerwise Relevance Analysis,层次化相关性分析)是一种参数高效微调(PEFT)方法,它的原理基于分析和调整模型中的参数,以便在不需要微调所有参数的情况下,有效地适应特定的下游任务。LoRA的核心思想是通过分析模型的中间层(特别是顶部的层)来确定哪些参数对于特定任务是最重要的,然后仅仅微调这些参数,而不是整个模型。通过仅微调模型中最重要的参数,LoRA能够在保持高性能的同时,显著降低模型训练和推理的计算和存储成本。:在选定的参数上进行训练,并评估模型在下游任务上的性能。原创 2024-04-18 12:37:03 · 1142 阅读 · 1 评论 -
【大模型 --- 数据并行与混合精度】
(Mixed Precision Training)是一种优化技术,它通过在训练过程中使用不同的数值精度(例如,混合使用16位和32位浮点数)来减少内存占用和加快计算速度。例如,在使用数据并行时,可以在每个GPU上使用混合精度训练,以减少每个GPU的内存占用并加快计算速度。在实际应用中,使用数据并行和混合精度训练需要注意的是,它们可能会带来一些挑战,如内存管理和数值稳定性问题。数据并行和混合精度是两种不同的优化技术,它们在深度学习训练中扮演着不同的角色,但它们可以结合使用以提高训练效率和模型性能。原创 2024-03-21 15:14:43 · 460 阅读 · 1 评论 -
【大模型--- 量化与微调的原理、区别】
在QAT中,量化操作被包括在训练过程中,这样模型在学习参数时就会考虑到量化带来的影响,从而减少量化后模型精度的损失。在微调过程中,模型通常在一个与预训练任务相似但不完全相同的任务上进行训练,以细化模型的权重和参数,使其更好地适应新任务。这通常在模型已经过训练并准备部署时执行。在实际应用中,如果量化后的模型性能下降过多,可能需要重新对量化后的模型进行微调,以恢复或提高其在量化精度下的性能。大模型微调和模型量化是两种不同的模型优化技术,它们通常用于不同的阶段和目的,但也可以结合使用以优化模型的性能和效率。原创 2024-03-12 12:34:53 · 1309 阅读 · 1 评论