微调 DeepSeek-R1 进行股票交易及法律咨询应用(附代码)

最新推荐文章于 2025-03-04 14:11:09 发布

AI大模型-大飞

最新推荐文章于 2025-03-04 14:11:09 发布

阅读量971

点赞数 29

文章标签：人工智能 LLM 程序员大模型教程 DeepSeek 大模型大模型学习

本文链接：https://blog.csdn.net/m0_63171455/article/details/145727009

版权

为什么股票交易适合微调

在大模型应用当中最直接的方式就是用当前效果最好的模型, 但如果涉及到一些非常窄的决策领域, 例如股票交易, 或者法律咨询。。。那么微调也是一个比较好的方式, 特别是自己已经有验证过的高概率胜出(或者自认为高概率胜出)的股票逻辑。那我们自己可以构建对应的语料来微调deepseek, 以便他能够按照我们的逻辑来进行决策。

股票交易我一直有一个很简单的交易逻辑, 测算了一下胜率大概是75%左右。我自己也微调了一个deepseek小模型, 外部数据使用seekingalpha, 目前还在实验当中

针对股票交易的微调, 语料我就不公开了(一方面是自己还在优化，另外一方面是语料也不一定对, 别误导了大家, 简单来说就是监测到一只股票下降的值比较大，但是当行有判定。该公司的基本面没有变化，则判定买入), 微调的方式就按照下文的方式进行微调就可以,

注意:下列方式是针对法律咨询的应用, 但所有的细节都一样, 除了语料

大家可供参考.

DeepSeek发布其开源推理模型DeepSeek-R1颠覆了AI领域也使得整个中国ai领域甚至中国的资产都进行了重新的估值。deepseek以较低的成本提供与OpenAI的o1相媲美的性能。另外，DeepSeek已将其推理能力提炼成了几个较小的模型。

Deepseek-R1介绍

DeepSeek-R1 是由 DeepSeek（你也可以说他是幻方量化）开发的推理模型。基于 DeepSeek-V3-Base（总参数为671B，每次推理时活跃的参数为37B），DeepSeek-R1 使用强化学习（RL）在提供最终答案之前生成一系列思维链（CoT）。为了使这些能力更易于访问，DeepSeek 将其 R1 输出提炼成了几个较小的模型：

基于 Qwen 的提炼模型： 1.5B、7B、14B 和 32B
基于 Llama 的提炼模型： 8B 和 70B

Note：对于14B模型，正确的变体是 DeepSeek-R1-Distill-Qwen-14B。 ✨

本文演示了如何微调其中一个模型（使用我们自己的自定义思维链数据集），然后保存和部署微调模型。

为什么 DeepSeek-R1 厉害

DeepSeek-R1 之所以厉害,主要是因为以下几个原因：

•开源可用性：完全开源，允许无限制使用、修改和分发。

•成本效益的训练： 500 万美元进行训练 , 远低于大规模语言模型通常相关的成本。

•强化学习和 CoT 推理：采用先进的强化学习技术来开发思维链推理。

•高效蒸馏：蒸馏模型在保持强大推理能力的同时，资源利用效率高。

•活跃的社区和生态系统：不断增长的工具生态系统、经过调优的模型和社区驱动的资源。现在几乎所有的大厂都宣布接入。

DeepSeek-R1 与 OpenAI 的 O3-Mini-High

推理模型差异

虽然 DeepSeek-R1 和 OpenAI 的 O3-Mini-High 推理模型都是为了高级问题解决而设计的，但它们有显著的区别：

开源 vs. 闭源

•DeepSeek-R1: 完全开源。

•OpenAI O3-Mini-High: 专有，受使用限制。

成本和可访问性

•DeepSeek-R1: 训练和操作成本更低。

•OpenAI O3-Mini-High: API 费用较高，运营成本更高。一般说来openai的模型都是行业里面最贵的。

性能和效率

•DeepSeek-R1: 使用 RLHF 和 CoT 推理以实现资源高效利用。

•OpenAI O3-Mini-High: 闭源性限制了优化

社区和生态支持

•DeepSeek-R1: 在 Hugging Face 上有着不断壮大的社区和经过精细调整的模型。

•OpenAI O3-Mini-High: 通过 OpenAI 的生态系统得到了强大的支持，但受专有限制。一般说来更多的是大家在单项的对问他，没办法对他进行特性的优化。而且很多时候其他模型好的话，很容易就被切换。比如以前我们就将open I的接口切换到了anthropic的接口。

这些差异使得 DeepSeek-R1 成为了一个吸引人的选择，可以实现高效的推理性能而不受专有限制。

搭建微调环境

环境设置和身份验证

安装依赖

使用喜欢的带有 GPU 访问权限的环境, 比如我直接使用L20。虽然该gpu更适合进行推理，但是用来进行微调嘛，随便一块gpu都是可以的。运行：

!pip install unsloth`                `!pip install --force-reinstall--no-cache-dir--no-deps git+https://github.com/unslothai/unsloth.git

Explanation: 这将安装 Unsloth - 一个可以加快微调速度的框架（速度提高了 2 倍，内存使用减少了 70%）。

unsloth特别适合用来在单卡上进行微调。

没有账号需要单独注册一个，这是必须的。

安全地检索您的 API token：

from huggingface_hub import login``hf_token = "your_huggingface_token"``login(hf_token)``

然后，初始化 Weights & Biases (wandb)：

import wandb``wb_token = "your_wandb_token"``wandb.login(key=wb_token)``run = wandb.init(`    `project='Fine-tune-DeepSeek-R1-Distill-Qwen-14B on Legal COT Dataset',`     `job_type="training",`     `anonymous="allow"``)

Explanation: 这些步骤确保了模型的安全下载和实验跟踪。

这里提示一下

我们可以在这里对很多的模型进行微调，只要改一下模型的名字就可以。
如果hugging face连接不上，那你需要手动这样模型下载上传到服务器。

加载模型和分词器

使用 Unsloth 进行 4 位量化加载深度 14B 模型 - DeepSeek-R1-Distill-Qwen-14B

`from unsloth import FastLanguageModel``max_seq_length = 2048` `dtype = None` `load_in_4bit = True``model, tokenizer = FastLanguageModel.from_pretrained(`    `model_name = "unsloth/DeepSeek-R1-Distill-Qwen-14B",`    `max_seq_length = max_seq_length,`    `dtype = dtype,`    `load_in_4bit = load_in_4bit,`    `token = hf_token,` `)`

Explanation: 针对最多 2048 个标记的序列配置模型，使用 4 位量化以提高内存效率。这些参数都是可以调的。

预微调推理

使用法律推理提示测试模型的基准性能, 例如此处微调一个法律相关的模型。

定义提示并运行推理

prompt_style = """以下是描述任务的指令，配以提供更多上下文的输入。` `编写一个适当完成请求的响应。` `在回答之前，仔细考虑问题，并创建一条条逻辑和准确的响应链。`    `Output:``### 指示：``您是一位法律专家，具有法律推理、案例分析和法律解释的高级知识。``请回答以下法律问题。``### 问题：``{}``### 回复：``<think>{}"""``question = "两个当事人签订了合同，但一方声称他们是在受到胁迫的情况下签署的。哪些法律原则适用于确定合同的有效性？"``FastLanguageModel.for_inference(model)``inputs = tokenizer([prompt_style.format(question, "")], return_tensors="pt").to("cuda")``outputs = model.generate(`    `input_ids=inputs.input_ids,`    `attention_mask=inputs.attention_mask,`    `max_new_tokens=1200,`    `use_cache=True,``)``response = tokenizer.batch_decode(outputs)``print(response[0].split("### Response:")[1])``## 准备训练数据 🗃 ️🛠 ️🧾``加载并格式化数据集（这里我们使用法律思维链数据集）。⚖️📚🔍`` ```ini ``train_prompt_style = """以下是描述一个任务的指令，配以提供更多背景的输入。``写出一个适当完成请求的回应。``在回答之前，仔细考虑问题，并创建一个逻辑和准确的响应的逐步思路链。`     `Output:``### 指示：``您是一位法律专家，具有法律推理、案例分析和法律解释的高级知识。``请回答以下法律问题。``### 问题：``{}``### 响应：``<think>``{}``</think>``{}"""``EOS_TOKEN = tokenizer.eos_token

def formatting_prompts_func(examples):`    `inputs = examples["Question"]`    `cots = examples["Complex_CoT"]`    `outputs = examples["Response"]`    `texts = []`    `for input_text, cot, output_text in zip(inputs, cots, outputs):`        `text = train_prompt_style.format(input_text, cot, output_text) + EOS_TOKEN`        `texts.append(text)`    `return {"text": texts}

加载和映射数据集

from datasets import load_dataset``dataset = load_dataset("kienhoang123/QR-legal", "en", split="train[0:500]", trust_remote_code=True)``dataset = dataset.map(formatting_prompts_func, batched=True)``print(dataset["text"][0])``####Note: This is a pseudo dataset. Please create or use an appropriate dataset for your own use case.

使用 LoRA 进行精细调整

使用 LoRA（低秩适应）来高效地对模型进行微调，只调整关键层

model = FastLanguageModel.get_peft_model(`    `model,`    `r=16,`    `target_modules=[`        `"q_proj",`        `"k_proj",`        `"v_proj",`        `"o_proj",`        `"gate_proj",`        `"up_proj",`        `"down_proj",`    `],`    `lora_alpha=16,`    `lora_dropout=0,`    `bias="none",`    `use_gradient_checkpointing="unsloth",`    `random_state=3407,`    `use_rslora=False,`    `loftq_config=None,``)

配置和运行训练过程

从 TRL 初始化 SFTTrainer 并使用适当的训练参数

from trl import SFTTrainer``from transformers import TrainingArguments``from unsloth import is_bfloat16_supported``trainer = SFTTrainer(`    `model=model,`    `tokenizer=tokenizer,`    `train_dataset=dataset,`    `dataset_text_field="text",`    `max_seq_length=max_seq_length,`    `dataset_num_proc=2,`    `args=TrainingArguments(`        `per_device_train_batch_size=2,`        `gradient_accumulation_steps=4,`        `warmup_steps=5,`        `max_steps=60,`        `learning_rate=2e-4,`        `fp16=not is_bfloat16_supported(),`        `bf16=is_bfloat16_supported(),`        `logging_steps=10,`        `optim="adamw_8bit",`        `weight_decay=0.01,`        `lr_scheduler_type="linear",`        `seed=3407,`        `output_dir="outputs",`    `),``)

开始训练

trainer_stats = trainer.train()

微调后推理

使用相同的提示结构测试您的微调模型

question = “两个当事人签订了合同，但一方声称他们是在胁迫下签署的。哪些法律原则适用于确定合同的有效性？”

FastLanguageModel.for_inference(model)``inputs = tokenizer([prompt_style.format(question, "")], return_tensors="pt").to("cuda")``outputs = model.generate(`    `input_ids=inputs.input_ids,`    `attention_mask=inputs.attention_mask,`    `max_new_tokens=1200,`    `use_cache=True,``)``response = tokenizer.batch_decode(outputs)``print(response[0].split("### Response:")[1])