开源模型应用落地-Qwen2.5-Coder模型小试-码海无涯（二）

于 2024-10-05 18:05:15 发布
阅读量775 收藏 16
点赞数 28
分类专栏： 开源大语言模型-CodeQwen模型小试 文章标签： 深度学习 自然语言处理 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq839019311/article/details/142716085
版权

一、前言

     代码专家模型是一种基于人工智能的先进技术，旨在自动分析和理解大量代码库，并从中学习常见的编码模式和最佳实践。这种模型通过深度学习和自然语言处理，能够提供准确而高效的代码建议，帮助开发人员在编写代码时有效地避免常见的错误和陷阱。

    利用代码专家模型，开发人员能够获得高效、准确且个性化的代码支持。这不仅显著提高了工作效率，还能在不同技术环境中简化软件开发流程。通过自动化的代码分析，开发人员可以更专注于创造性的编程任务，从而推动软件开发的创新与进步。

    总之，代码专家模型的引入不仅是技术的进步，更是软件开发方式的一次革命。它为开发者提供了更为强大的工具，使他们能够在复杂的技术环境中游刃有余，专注于更具创造性和挑战性的项目。随着这一技术的不断发展与普及，未来的软件开发将会更加高效、智能和富有创造力。

二、术语

2.1.Qwen2.5-Coder

    是通义千问新一代开源模型中用于编程的特定系列大语言模型（前身是 code qwen）。它具有以下特点：

1. 训练数据及规模方面

  • 在多达 5.5 万亿 tokens 的编程相关数据上作了训练，涵盖源代码、文本-代码关联数据、合成数据等，为模型提供了丰富的编程知识和模式。

2. 性能提升方面

  • 相比 code qwen 1.5，在代码生成、代码推理和代码修复方面有了显著提升，为开发者提供更高效、准确的代码辅助。

3. 应用基础方面

  • 为代码相关的实际应用如代码代理等提供了更全面的基础，让模型不仅局限于代码的生成，还能更好地适应各种代码相关任务的实际场景。

4. 上下文处理方面

  • 支持长上下文，最长可达 128k tokens，能够处理大规模的代码文本和复杂的编程逻辑。

5. 模型体系方面

  • 发布了三个基础语言模型和指令微调语言模型，包括 1.5B、7B 和未来的 32B（开发中）不同参数规模的版本，以满足不同用户和场景的需求。

应用场景：

  1. 代码生成：根据自然语言描述自动生成相应的代码片段，提升开发效率。
  2. 代码补全：在编程环境中提供实时的代码自动补全建议，帮助开发者高效编写代码。
  3. 代码审计：分析和审查代码以发现潜在的错误或性能隐患，并提供优化建议。
  4. 文档生成：自动生成代码文档，如 API 文档或代码注释，简化开发人员的文档维护工作。
  5. 代码转换：将一种编程语言的代码转换为另一种语言。
  6. Bug 识别与修复：识别代码中的错误或潜在问题，并建议修复方案。
  7. 单元测试生成：根据代码自动生成单元测试，帮助确保代码质量和可靠性。
  8. 代码示例和模板生成：为特定的开发需求生成代码示例或模板，加速项目开发。

2.2.Qwen2.5-Coder-7B-Instruct

    是在 Qwen2.5-Coder 的基础上通过指令微调得到的模型，它在多个任务上性能进一步提升，在多编程语言能力、代码推理、数学能力和基础能力等方面表现突出。

三、前置条件

3.1.基础环境

操作系统：centos7

Tesla V100-SXM2-32GB  CUDA Version: 12.2

3.2.下载模型

huggingface：

https://huggingface.co/Qwen/Qwen2.5-Coder-7B-Instruct/tree/main

​

ModelScope：

git clone https://www.modelscope.cn/qwen/Qwen2.5-Coder-7B-Instruct.git

​

​

PS：

1. 根据实际情况选择不同规格的模型

3.3.创建虚拟环境

conda create --name qwen2.5 python=3.10

3.4.安装依赖库

conda activate qwen2.5
pip install transformers torch accelerate

四、使用方式

4.1.自动生成代码

使用场景：

1. 基本功能实现

  •     请生成一个用于计算两个数之和的 Python 函数。
  •     创建一个 JavaScript 函数，用于验证邮箱地址的格式。

2. 特定框架或库

  •     使用 Flask 框架生成一个简单的用户注册 API，包括输入验证和数据库存储。
  •     请创建一个 React 组件，用于显示用户信息，并支持编辑功能。

3. 数据结构和算法

  •     编写一个 Python 函数，使用快速排序算法对给定的列表进行排序。
  •     请生成一个 Java 类实现链表的基本操作，包括插入、删除和查找。

4. 数据库操作

  •     生成一个 SQL 查询，用于从用户表中选择所有年龄大于 18 岁的用户。
  •     请创建一个 Python 脚本，连接到 MySQL 数据库并插入一条新记录。

5. 错误处理和日志记录

  •     编写一个 Node.js 函数，处理文件读取错误并记录错误信息到日志文件。
  •     请生成一个 Java 方法，捕获异常并返回友好的错误消息。

6. API 集成

  •     创建一个 Python 函数，调用 GitHub API 获取用户信息并返回 JSON 格式的数据。
  •     请生成一个 JavaScript 代码片段，使用 Fetch API 从天气服务获取当前天气数据。

7. 用户界面

  •     生成一个 HTML 表单，包含姓名、邮箱和密码字段，并添加基本的输入验证。
  •     请创建一个 Vue.js 组件，显示一个可搜索的产品列表。

8. 测试用例

  •     请为以下 Python 函数生成单元测试def add(a, b): return a + b。
  •     生成一个 JavaScript 测试用例，验证 fetchData 函数是否正确处理 API 响应。

9. 文件操作

  •     编写一个 Python 脚本，读取一个文本文件并统计每行的单词数。
  •     请生成一个 Java 程序，创建一个新的 CSV 文件并写入一些示例数据。

示例代码：

# -*-  coding = utf-8 -*-
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

device = "cuda"
modelPath = '/data/model/qwen2.5-coder-7b-instruct'

def loadTokenizer():
    tokenizer = AutoTokenizer.from_pretrained(modelPath)
    return tokenizer

def loadModel(config):
    model = AutoModelForCausalLM.from_pretrained(
        modelPath,
        torch_dtype="auto",
        device_map="auto"
    )
    model.generation_config = config
    return model

# 自动生成代码
def auto_generate_code(prompt):
    messages = [
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": prompt}
    ]

    text = tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
    )
    model_inputs = tokenizer([text], return_tensors="pt").to(device)

    generated_ids = model.generate(
        model_inputs.input_ids
    )
    generated_ids = [
        output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
    ]

    response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
    print(response)


if __name__ == '__main__':

    config = GenerationConfig.from_pretrained(modelPath, top_p=0.9, temperature=0.1, repetition_penalty=1.1,
                                              do_sample=True, max_new_tokens=8192)
    tokenizer = loadTokenizer()
    model = loadModel(config)

    prompt = '编写一个Node.js函数，处理文件读取错误并记录错误信息到日志文件。'
    auto_generate_code(prompt)

调用结果：

​

4.2.自动补全代码

使用场景：
示例 1：Python 函数补全

初始代码：
```python
def calculate_area(radius):
    import math
    area =
```

补全提示：
“请补全代码以计算圆的面积。”

示例 2：JavaScript 函数补全

初始代码：
```javascript
function fetchData(url) {
    fetch(url)
        .then(response => {
            if (response.ok) {
                return response.json();
            } else {
                throw new Error('Network response was not ok');
            }
        })
        .then(data => {
            console.log(data);
        })
}
```

补全提示：
“请补全代码，以添加错误处理和返回数据的功能。”

示例 3：Java 类补全

初始代码：
```java
public class Person {
    private String name;
    private int age;

    public Person(String name, int age) {
        this.name = name;
        this.age = age;
    }

}
```

补全提示：
“请补全代码以添加 getter 方法。”

示例 4：HTML 表单补全

初始代码：
```html
<form>
    <label for="username">Username:</label>
    <input type="text" id="username" name="username">
    
    <label for="password">Password:</label>
    <input type="password" id="password" name="password">
    
</form>
```

补全提示：
“请补全代码以添加提交按钮。”

示例 5：SQL 查询补全

初始代码：
```sql
SELECT name, age FROM users WHERE age >
```

补全提示：
“请补全代码以选择所有年龄大于 18 的用户。”

示例代码：

# -*-  coding = utf-8 -*-
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

device = "cuda"
modelPath = '/data/model/qwen2.5-coder-7b-instruct'

def loadTokenizer():
    tokenizer = AutoTokenizer.from_pretrained(modelPath)
    return tokenizer

def loadModel(config):
    model = AutoModelForCausalLM.from_pretrained(
        modelPath,
        torch_dtype="auto",
        device_map="auto"
    )
    model.generation_config = config
    return model


# 自动补全代码
def auto_complete_code(prompt):
    messages = [
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": prompt}
    ]

    text = tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
    )
    model_inputs = tokenizer([text], return_tensors="pt").to(device)

    generated_ids = model.generate(
        model_inputs.input_ids
    )
    generated_ids = [
        output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
    ]

    response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
    print(response)

if __name__ == '__main__':

    config = GenerationConfig.from_pretrained(modelPath, top_p=0.9, temperature=0.1, repetition_penalty=1.1,
                                              do_sample=True, max_new_tokens=8192)
    tokenizer = loadTokenizer()
    model = loadModel(config)

  
    prompt = '''
    请补全以下javascript代码，以添加错误处理和返回数据的功能。
    ```javascript
    function fetchData(url) {
        fetch(url)
            .then(response => {
                if (response.ok) {
                    return response.json();
                } else {
                    throw new Error('Network response was not ok');
                }
            })
            .then(data => {
                console.log(data);
            })
    }
    ```
    '''
    auto_complete_code(prompt)

调用结果：

​

4.3.自动翻译代码

使用场景：
示例 1：Python 到 JavaScript

请用JavaScript语言改写下面Python代码，并实现一致的功能

```python
def greet(name):
    return f"Hello, {name}!"

print(greet("Alice"))
```

示例 2：Java 到 Python

请用Python语言改写下面java代码，并实现一致的功能

```java
public class Factorial {
    public static int factorial(int n) {
        if (n == 0) {
            return 1;
        } else {
            return n * factorial(n - 1);
        }
    }

    public static void main(String[] args) {
        System.out.println(factorial(5));
    }
}
```

示例 3：C# 到 Ruby

请用Ruby语言改写下面csharp代码，并实现一致的功能

```csharp
using System;

class Program {
    static void Main() {
        Console.WriteLine("Enter your name:");
        string name = Console.ReadLine();
        Console.WriteLine($"Hello, {name}!");
    }
}
```

示例 4：JavaScript 到 PHP

请用PHP语言改写下面JavaScript代码，并实现一致的功能

```javascript
const numbers = [1, 2, 3, 4, 5];
const doubled = numbers.map(num => num * 2);
console.log(doubled);
```

示例 5：Swift 到 Kotlin

请用Kotlin语言改写下面Swift代码，并实现一致的功能

```swift
func greet(name: String) -> String {
    return "Hello, \(name)!"
}

print(greet(name: "Bob"))
```

示例代码：

# -*-  coding = utf-8 -*-
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

device = "cuda"
modelPath = '/data/model/qwen2.5-coder-7b-instruct'

def loadTokenizer():
    tokenizer = AutoTokenizer.from_pretrained(modelPath)
    return tokenizer

def loadModel(config):
    model = AutoModelForCausalLM.from_pretrained(
        modelPath,
        torch_dtype="auto",
        device_map="auto"
    )
    model.generation_config = config
    return model


# 自动翻译代码
def auto_translation_code(prompt):
    messages = [
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": prompt}
    ]

    text = tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
    )
    model_inputs = tokenizer([text], return_tensors="pt").to(device)

    generated_ids = model.generate(
        model_inputs.input_ids
    )
    generated_ids = [
        output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
    ]

    response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
    print(response)

if __name__ == '__main__':

    config = GenerationConfig.from_pretrained(modelPath, top_p=0.9, temperature=0.1, repetition_penalty=1.1,
                                              do_sample=True, max_new_tokens=8192)
    tokenizer = loadTokenizer()
    model = loadModel(config)


    prompt='''
    请用Python语言改写下面java代码，并实现一致的功能，具体代码如下：
    ```java
    public class Factorial {
        public static int factorial(int n) {
            if (n == 0) {
                return 1;
            } else {
                return n * factorial(n - 1);
            }
        }
    
        public static void main(String[] args) {
            System.out.println(factorial(5));
        }
    }
    ```
    '''
    auto_translation_code(prompt)

调用结果：

​

开源技术探险家
关注
专栏目录
开源模型应用落地-qwen模型小试-Qwen2.5-7B-Instruct-Gradio快速体验（十四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-20 6261
Qwen2.5-7B-Instruct集成Gradio和vLLM
开源模型应用落地-qwen模型小试-入门篇（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
01-12 2191
在windows环境下，使用transformer调用Qwen-1_8B-Chat
开源模型应用落地-Qwen2.5-Coder模型小试-码无止境（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-23 5098
使用Qwen2.5-Coder-7B-Instruct模型，帮助开发人员获得高效、准确和个性化的代码支持
开源模型应用落地-qwen模型小试-Qwen2.5-7B-Instruct-快速体验（十三）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-20 6638
Qwen2.5系列模型的新特性及使用方式
开源模型应用落地-qwen模型小试-Qwen-Agent（十一）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
05-13 1万+
在qwen1.5-7b-chat模型下，利用Qwen-Agent构建智能代理，以理解和响应用户查询
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-20 6717
Qwen2.5-7B-Instruct集成vllm，流式输出
开源模型应用落地-qwen模型小试-入门篇（四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
01-19 1145
使用gradio，构建Qwen-1_8B-Chat测试界面
开源模型应用落地-qwen2.5-7b-instruct-LoRA微调-LLaMA-Factory-单机单卡-V100（十八）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-25 3858
使用LLaMA-Factory高效微调qwen2.5-7b-instruct
开源模型应用落地-qwen模型小试-入门篇（二）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
01-15 1952
在windows环境下，使用transformer设置模型参数/System Prompt/历史对话
开源模型应用落地-qwen模型小试-调用Qwen2-7B-Instruct-进阶篇（十二）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
06-11 1万+
Qwen2系列模型的新特性及使用方式
安全帽头盔检测数据集 3类 12000张 安全帽数据集 voc yolo
最新发布
阿利同学的博客
10-04 743
安全帽头盔检测数据集 3类 12000张 安全帽数据集 voc yolo
深度学习·wandb
2301_80132162的博客
10-01 392
一个好用的可视化训练过程和调参工具，建议在深度学习中使用，语法来说更加方便。
基于深度学习的不遗忘训练
weixin_42605076的博客
10-02 682
基于深度学习的不遗忘训练（也称为抗遗忘训练或持久性学习）是针对模型在学习新任务时可能会忘记已学习内容的一种解决方案。该方法旨在使深度学习模型在不断接收新信息的同时，保持对旧知识的记忆。
AI学习指南深度学习篇-批标准化（Batch Normalization）简介
俞兆鹏的博客
09-28 883
批标准化是深度学习领域不可或缺的重要技术之一，极大地提高了训练速度和模型性能。它通过标准化中间层的输出，减轻了内部协变量偏移的影响，有效解决了训练过程中常见的问题。从传统的深度网络到现代复杂模型，批标准化为深度学习的快速发展做出了重要贡献。在实际应用中，理解并有效利用批标准化的特性，可以帮助我们构建更高效、准确的深度学习模型。继续深入研究和探索批标准化在其他网络构架中的应用，将进一步推动深度学习的发展与多样性。
深度学习：DCGAN
Landy_Jay的博客
10-01 442
CDGAN（Deep Convolutional Generative Adversarial Networks），是GAN（Generative Adversarial Networks）的一种变体，它特别使用了卷积神经网络（CNNs）作为生成器和判别器的构建模块。DCGAN使用全卷积网络结构代替传统的池化层和全连接层。在生成器中采用转置卷积（也称为分数步长卷积或反卷积）来逐步增加图像的空间维度。在判别器中使用卷积层来逐步减少空间维度并提取特征。
Pytorch-CNN轴承故障一维信号分类(二)
10-01 1269
本文基于凯斯西储大学（CWRU）轴承数据，先经过数据预处理进行数据集的制作和加载，最后通过Pytorch实现CNN模型一维卷积和二维卷积对故障数据的分类，然后进行对比。
国创——基于分离表示的人脸图像生成技术
2301_80073593的博客
10-01 954
根据用户的个性化需求，对分离得到的形状和纹理表示进行调整。- 在DFGA框架的几何形状生成模块中，根据输入数据（可能是经过预处理的图像特征等），使用特定的算法或模型生成人脸的几何形状。- 分离表示旨在将人脸图像分解为不同的组件，如几何形状（面部结构）、皮肤纹理（颜色、细节等）等表示形式。- 将生成的几何形状和皮肤纹理进行融合，得到最终的个性化人脸图像或者视频帧（如果是从视频序列输入）。- 定义DFGA框架中的各个模块，如数据加载模块、几何形状生成模块、皮肤纹理生成模块、融合模块等。
深度学习：（八）深层神经网络参数与流程
qq_51409113的博客
09-27 1237
简单介绍了深层神经网路的参数和流程图
基于Python的自然语言处理系列（19）：基于LSTM的语言模型实现
不想宅的冷同学
09-29 802
在本篇博文中，我们实现了一个基于LSTM的语言模型，探讨了其在自然语言处理中的重要性。通过对WikiText数据集的训练，我们了解了如何进行数据预处理、模型构建以及训练与评估过程。这一模型为理解语言生成打下了基础，也展示了如何使用PyTorch进行实际应用。随着对LSTM语言模型的深入理解，我们将在下一篇博文中转向更先进的Transformer模型及其在语言建模中的应用，期待与大家一同探讨Transformer如何提升自然语言处理的能力，并掌握束搜索等高效解码技术。希望继续激发大家对这一领域的热情与探索！
如何微调qwen2.5-coder？
09-25
微调预训练模型Qwen2.5-Coder主要是为了针对特定任务或应用场景提升模型的表现。以下是微调的基本步骤： 1. **准备数据集**：首先需要一个标记好的小规模数据集，它应该包含与目标任务相关的文本样本。 2. **下载预训练模型**：从Qwen2.5-Coder仓库获取模型的源码或者已经预训练的权重文件。 3. **加载模型**：使用合适的框架（如Hugging Face的Transformers库），加载预训练的模型，并选择适当的头（tokenizer和model）进行后续操作。 4. **冻结或解冻层**：通常，微调只涉及模型的最后一层或部分，因为预训练模型的底层一般学习了通用的语言表示，可以保持不变。如果所有层都需要调整，则应解冻它们。 5. **设置优化器和学习率**：选择适合微调任务的学习率策略，比如使用较小的初始值，因为它会更细致地调整模型。 6. **编写训练循环**：定义一个训练函数，将数据输入到模型，计算损失，更新参数，并监控性能指标。 7. **微调过程**：通过迭代地将数据送入模型进行前向传播、反向传播和优化，逐渐调整模型参数，使其适应新的任务。 8. **评估和保存**：定期验证模型在验证集上的性能，当性能达到预期或停止改进时，保存最优模型。 9. **部署**：最后，在测试集上评估微调后的模型，然后将其部署到实际应用中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

开源技术探险家

以微薄之力温暖这个世界

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值