m0_74061452-CSDN博客

原创【创新实训】LORA模型微调方法

它冻结了预训练的模型权重，并将可训练的秩分解矩阵注入Transformer架构的每一层，从而大大减少了下游任务的可训练参数数量。LoRA 是一个非常重要的可调优结构，简单来说，就是增加了一个额外可训练部分，比如原来的 Linear 的矩阵是 MxN 维，增加一个 LoRA，该 LoRA 会包含两个参数量较少的矩阵：Mxd, dxN，这两个矩阵相乘后仍然是 MxN 维的，训练时原 MxN 矩阵冻结，只训练 LoRA 的两个矩阵，参数量就会大大减少。训练完成后，模型将保存在指定的输出目录中。

2024-06-24 09:49:36 476

原创【创新实训】模型预训练与LLaMA-Factory应用

预训练模型通过在大规模数据集上学习丰富的语言表示，显著提升了下游任务的性能、减少了数据需求，并加快了训练速度。Llama-factory工具简化了预训练过程的管理和执行，提供了方便的配置和监控功能，使得模型预训练变得更加高效和易于操作。

2024-06-24 05:17:45 294

原创【创新实训】streamlit的组件和项目初始化

装饰一个函数时，Streamlit 会将该函数的结果存储在一个缓存中，以便在后续调用中直接返回缓存的结果，而不是重新计算。**st.spinner：**用于显示一个旋转的加载器，表示任务正在执行。通过结合Streamlit的简易性和NLP的强大功能，该系统旨在简化法律文书的生成过程，使其对法律专业人士更加便捷和高效。这段代码设置了一个默认的提示文本，指定了语言模型的身份，并提供了使用Markdown格式进行回应的指示。streamlit提供了多种函数用于显示不同类型的消息，以呈现不同级别的通知和反馈。

2024-06-24 05:05:31 543

原创【创新实训】Streamlit框架解析

使用 Streamlit 很简单。首先，将一些 Streamlit 命令放入普通的 Python 脚本中，然后使用以下命令运行它只要您按照上述步骤运行脚本，本地 Streamlit 服务器就会启动，您的应用就会在默认网络浏览器的新选项卡中打开。应用就是您的画布，您可以在其中绘制图表、文本、小部件、表格等。在应用中绘制什么由您决定。例如， st.text将原始文本写入您的应用，并 st.line_chart绘制折线图等等。参阅，查看所有可用的命令。

2024-06-24 05:04:21 331

原创通过NLP进行数据的逻辑问题筛查

通过结合基础的清洗步骤和高级的NLP技术，我们可以在同一数据格式的基础上，更全面地提升数据的质量。自动检测和修正语句不通顺或逻辑混乱的问题需要利用语言模型，并且在实际应用中可能需要手动检查和调整以确保准确性。这样处理后的数据集可以更好地用于ChatGLM的训练和应用。

2024-06-23 21:59:58 227

原创【创新实训】使用json模块和pandas库加载JSON数据并转换为DataFrame进行初步筛查

问题的描述。input：补充说明，通常为空。output：对应的回答。

2024-06-23 21:47:22 133

原创 2024.6山大软件区块链原理与技术期末

设计智能合约，实现集资系统的投资和分红，要有投资分红搜索提现接口。CAP定理，实际工程中会舍弃哪项。merkle数数据结构。UTXO（ppt原图）图中未消费的部分是什么。证明OM(m)正确性。

2024-06-19 17:44:43 69

原创为ChatGLM-6B模型的训练纪实(三)——阶段性成果展示

经过对比，我们可以看到，虽然原始ChatGLM3-6B有一定的法律推理能力，但输出与问题相去甚远的回答或者夹杂输出非中文的可能性非常高，ChatGPT 3.5在没有专项法律强化的情况下输出结果较为贴切并符合逻辑，但可能不会给出具体的法律建议。对模型的训练后，我们来比较一下训练的效果，通过对训练后的模型和原始模型回答的对比，来直观观察训练的成果；通过在这些方向上的持续努力，我们相信可以进一步提升ChatGLM-6B模型的性能和应用价值，为法律领域的智能化和自动化提供更有力的技术支持。

2024-05-30 23:05:19 923

原创为ChatGLM-6B模型的训练纪实：从数据集准备到LLamA-Factory的高效应用(二)

LLamA-Factory 是一个高效的模型训练工具，支持多种大规模语言模型（如LLaMA、ChatGLM等）的微调。该工具集成了增量预训练、指令监督微调、奖励模型训练等多种方法，支持多种精度和先进算法（如LoRA、QLoRA）。LLamA-Factory 提供丰富的实验监控工具（如TensorBoard、Wandb），并优化了训练和推理速度。通过结合多种模型和训练方法，LLamA-Factory 能显著提升训练效率和模型性能。详细内容请访问。

2024-05-30 21:21:30 823

原创为ChatGLM-6B模型的训练纪实：从数据集准备到LLamA-Factory的高效应用(一)

在人工智能和自然语言处理领域，生成式预训练模型（如GPT-3和ChatGPT）已经展示了其强大的语言生成能力。随着技术的发展，开源社区也逐渐涌现出许多强大的模型和工具，其中ChatGLM-6B和LLamA-Factory便是两个值得关注的项目。本文将详细介绍如何为训练ChatGLM-6B模型寻找和创造训练集，以及利用LLamA-Factory对模型进行训练的具体步骤和方法。我们的项目目标是完成一个能够对法律问题进行解答并给出比较规格的法律咨询建议、判决书等。自定义数据来源可以通过网络爬虫，用户生成内容等。

2024-05-29 23:43:44 1576

m0_74061452的博客