大AI时代，人性化的信息更加难得可贵

它通过在不同层之间引入可学习的关联系数，来调整模型在每个层级上的相关性。Freeze微调：Freeze微调是指在微调过程中冻结（不更新）部分模型的参数。通常，我们会选择冻结模型的底层（低级的）部分，而只更新模型的高层（高级的）参数。这些微调策略的选择取决于不同的需求和情况。Full微调适用于全面调整模型的情况，而Freeze微调适用于只关注特定任务的情况。LORa微调则提供了一种更加灵活的方式来调整模型在不同层级上的相关性。Full微调：Full微调是指在微调过程中更新整个模型的所有参数。

合并路径得到新的4个safetensors文件，这就是合并后的模型文件，这些模型文件可以再次用于微调。报错显示磁盘空间不足，这是由于AutoDL云，当前默认空间用的是系统盘，空间只有30G。将合并路径存储到50个G的数据盘，数据库路径是autodl-tmp文件夹。经过几分钟时间，完成合并。

官网：https://www.llamafactory.cn/Meta的微调工具链~平民老百姓创建自己的LLM就靠它了。

Alpaca 格式适用于指令驱动的任务，如文本生成、摘要、翻译等，具有清晰的指令、输入和输出字段。ShareGPT 格式则侧重于多轮对话，适用于对话系统的训练，模拟用户与 AI 的交互。如果是基于指令的任务，Alpaca格式是理想的选择；如果是对话模型，ShareGPT格式会更合适。

学会基座模型的使用是重要的一步

微调大模型第一步，如何使用云服务器

使用海量的训练数据(纯文本，没有QA)，这些数据可以来自互联网网页、维基百科、书籍、GitHub、论文、问答网站等，构建包含数千亿甚至数万亿单词的具有多样性的内容，经过数千块高性能GPU和高速网络组成的超级计算机，花费数十天甚至数月的时间完成深度神经网络参数的训练，构建基础模型(Foundation Model)，也叫基座模型。当取值较⾼接近 1 时，预测的随机性会较⾼，所有词被选择的可能性更⼤，会产⽣更有创意、多样化的⽂本，更有可能⽣成不寻常或意想不到的词。提示词，分为系统提示词、用户提示词。

1.输入我希望设计一个ERP系统，请帮我简单列一个流程图，用mermaid输出2.输出

Ollama是针对LLaMA模型的优化包装器，旨在简化在个人电脑上部署和运行LLaMA模型的过程。Ollama自动处理基于API需求的模型加载和卸载，并提供直观的界面与不同模型进行交互。它还提供了矩阵乘法和内存管理的优化。：llama.cpp是由Georgi Gerganov开发的，它是基于C++的LLaMA模型的实现，旨在提供更快的推理速度和更低的内存使用。：LLaMA是由Meta（Facebook的母公司）开源的大型语言模型，它提供了不同规模的模型，包括1B、3B、11B和90B等参数规模的版本。