- 博客(151)
- 收藏
- 关注
原创 LLaMA-Factory微调实操记录
LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调。
2025-03-29 14:38:41
1339
原创 【大模型原理与技术】1.0序言
语言模型旨在预测一个词元或者词元序列出现的概率。现在语言模型通常是基于规则、统计或者学习来构建。目前流行的语言模型基本上都是基于学习的语言模型,因为其更加智能,是真正意义上的大模型。
2025-03-02 17:34:25
226
原创 大模型基础概念
当和大模型对话,解决一些学习问题、通用的一些工作的时候,还事可以的。但是当把开源模型运行在本地,想和工作中专业的知识进行挂钩时,落地是比较困难的。指令微调(SFT):在这里需要找到一些高质量的打标签的数据集对上面生成的预训练模型进行质量微调。模型蒸馏:一种通过知识迁移优化深度学习模型的技术,其核心目标是将复杂的大模型(教师模型)的知识传递给轻量化的小模型(学生模型):大模型根据学过的知识续写输出内容,但是当提出的问题,大模型没有学习过之后,就会瞎说,输出概率较大的内容。RLHF:基于人类反馈的强化学习。
2025-03-01 22:20:03
306
原创 【设计模式】软件开发原则
在软件开发中,为了提高软件开发的可维护性和可复用性,增加软件的可扩展性和灵活性,程序员要尽可能的遵循一下6条原则来开发程序,从而提高软件开发效率、节约软件开发成本和维护成本。
2023-04-09 10:40:54
965
原创 【设计模式】设计模式概述以及UML图
软件设计模式(Software Design Pattern),又称设计模式,是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。它描述了在软件设计过程中的一些不断重复发生的问题,以及该问题的解决方案。也就是说,它是解决特定问题的一系列套路,是前辈们的代码设计经验的总结,具有一定的普遍性,可以反复使用。
2023-04-08 17:56:15
806
原创 【设计模式】常用的几种设计模式——单例模式
单例模式(Singleton Pattern)是Java中最简单的设计模式,该模式的基本思想就是:某个类负责创建自己的对象,同时确保该类的实例对象只有一个,该类提供唯一一种访问其对象的方式,可以直接访问,不需要实例化其对象
2023-04-08 12:10:58
591
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人