欺诈文本分类检测（十四）：GPTQ量化模型

已于 2024-09-11 10:05:53 修改
阅读量907 收藏 21
点赞数 23
分类专栏： 微调 文章标签： 分类 人工智能 语言模型 微调
于 2024-09-11 00:01:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaojia1001/article/details/142111184
版权

1. 引言

量化的本质：通过将模型参数从高精度（例如32位）降低到低精度（例如8位），来缩小模型体积。

本文将采用一种训练后量化方法GPTQ，对前文已经训练并合并过的模型文件进行量化，通过比较模型量化前后的评测指标，来测试量化对模型性能的影响。

GPTQ的核心思想在于：将所有权重压缩到8位或4位量化中，通过最小化与原始权重的均方误差来实现。在推理过程中，它将动态地将权重解量化为float16，以提高性能，同时保持较低的内存占用率。

注：均方误差是评估两个数值数据集之间差异的一种常用方法，它通过计算量化后权重与原始权重之间的均方误差，并使之最小化，来减少量化过程中引入的误差，以保持模型在推理时的性能。

2. 量化过程

2.1 加载量化模型

首先引入必要的包，其中：

  • auto_gptq: 一个用于模型量化的库，通常用于减少模型的内存占用和计算消耗。
  • AutoGPTQForCausalLM: 用于加载和使用经过量化的因果语言模型。
  • BaseQuantizeConfig: 定义量化模型时所需的参数，例如量化精度。
  • AutoTokenizer：transformers库提供的分词器，用于处理文本分词。
import os
import json
import torch
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig
from transformers import AutoTokenizer

定义量化任务要使用的设备，并指定模型的原始路径model_path。

os.environ["CUDA_VISIBLE_DEVICES"] = "1"
device = 'cuda'
model_path = "/data2/anti_fraud/models/Qwen2-1__5B-Instruct-anti_fraud_1__0"

配置量化参数。

quantize_config = BaseQuantizeConfig(
    bits=8, 
    group_size=128,   # 分组量化
    damp_percent=0.01,
    desc_act=False,  
    static_groups=False,
    sym=True,
    true_sequential=True,
    model_name_or_path=None,
    model_file_base_name="model"
)

参数释义如下：

  • bits: 指定量化的位数为8位。
  • group_size：量化时的分组大小，分组量化可以提高计算效率，通常设置为 128 是一个合理的选择，适合大多数模型。
  • damp_percent：控制量化过程中对权重的平滑处理，防止过度量化导致的性能下降。默认值 0.01 通常是一个良好的起点，如果量化不佳，可以增加此值。
  • desc_act：控制是否使用描述性激活，设置为 False 可以加速推理，如果模型的精度更重要，可以设置为 True。
  • static_groups： 是否使用静态分组。静态分组可以提高推理效率， 如果模型结构固定且不需要动态调整，可以设置为 True。否则，保持为 False 以支持动态分组。
  • sym： 指定是否使用对称量化。对称量化可以简化计算，如果模型对称性较好，可以设置为 True。
  • true_sequential： 控制是否使用真实的顺序量化。真实顺序量化可以提高模型的表现，但可能会增加计算复杂性。如果模型对顺序敏感，可以设置为 True。
  • model_file_base_name：指定生成的量化模型文件名称，最终体现在输出文件的命名上。

加载分词器，并根据配置quantize_config指定的量化位数来加载模型。

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoGPTQForCausalLM.from_pretrained(model_path, quantize_config)
2.2 准备校准数据集

GPTQ采用权重分组量化（如上面的配置中128列为一组），一个分组内的参数采用逐个进行量化（如下图所示），在每个参数被量化后，需要适当调整这个 block 内其他未量化的参数，以弥补量化造成的精度损失。

在这里插入图片描述

因此，GPTQ 量化需要准备校准数据集，我们这里采用一个以前生成的测试数据集作为校准数据。

def load_jsonl(path):
    conversations = []
    with open(path, 'r') as file:
        data = [json.loads(line) for line in file]
        conversations = [dialog['messages'] for dialog in data]
        return conversations

eval_data_path = '/data2/anti_fraud/dataset/test_chatml_0815.jsonl'
conversations = load_jsonl(eval_data_path)
conversations[0]

校验数据集的数据格式是一个标准的聊天模板，示例如下：

[{'role': 'system', 'content': 'You are a helpful assistant.'},
 {'role': 'user',
  'content': '\n下面是一段对话文本, 请分析对话内容是否有诈骗风险，以json格式输出你的判断结果(is_fraud: true/false)。\n\n\n发言人3: 那就是说看上半年我们的三四月份会不会有一些这个相关的一些这个缓解，就是说这方面的一些矛盾的一些缓解，债务的一个情况的一些缓解，那我们还要继续观察。\n发言人2: 好的，蒋总，那我们看一下那个其他投资者有没有什么其他问题。\n发言人1: 大家好，通过网络端接入的投资者可点击举手连麦等候提问，或在文字交流区提交您的问题，通过电话端接入的投资者请按星一键提问。先按星号键，再按一键，谢谢。大家好，通过网络端接入的投资者可点击举手连麦，然后提问，或在文字交流区提交您的问题。通过电话端接入的投资者请按星一键提问。\n发言人1: 先按星号键，再按数字一键，谢谢。'},
 {'role': 'assistant', 'content': '{"is_fraud": false}'}]

定义一个预处理函数，将文本数据预处理为张量数据。

def preprocess(dataset, max_len=1024):
    data = []
    for msg in dataset:
        text = tokenizer.apply_chat_template(msg, tokenize=False, add_generation_prompt=False)
        model_inputs = tokenizer([text])
        input_ids = torch.tensor(model_inputs.input_ids[:max_len], dtype=torch.int)
        data.append(dict(input_ids=input_ids, attention_mask=input_ids.ne(tokenizer.pad_token_id)))
    return data

dataset = preprocess(conversations)
  • tokenizer.apply_chat_template：负责将消息格式转化为Qwen模型需要的提示词格式。
  • tokenizer([text])：使用tokenizer对文本进行分词，并将token转换为ID值。
  • torch.tensor：将token_id转换为tensor张量。

配置日志显示格式：

import logging

logging.basicConfig(
    format="%(asctime)s %(levelname)s [%(name)s] %(message)s", level=logging.INFO, datefmt="%Y-%m-%d %H:%M:%S"
)
2.3 开始量化

使用校准数据集来动态调整量化参数，使模型在量化时学习并适应数据分布。

%%time
model.quantize(dataset, cache_examples_on_gpu=False)

INFO - Start quantizing layer 1/28
INFO - Quantizing self_attn.k_proj in layer 1/28...
INFO - Quantizing self_attn.v_proj in layer 1/28...
INFO - Quantizing self_attn.q_proj in layer 1/28...
INFO - Quantizing self_attn.o_proj in layer 1/28...
INFO - Quantizing mlp.up_proj in layer 1/28...
INFO - Quantizing mlp.gate_proj in layer 1/28...
INFO - Quantizing mlp.down_proj in layer 1/28...
INFO - Start quantizing layer 2/28
……
INFO - Start quantizing layer 28/28
INFO - Quantizing self_attn.k_proj in layer 28/28...
INFO - Quantizing self_attn.v_proj in layer 28/28...
INFO - Quantizing self_attn.q_proj in layer 28/28...
INFO - Quantizing self_attn.o_proj in layer 28/28...
INFO - Quantizing mlp.up_proj in layer 28/28...
INFO - Quantizing mlp.gate_proj in layer 28/28...
INFO - Quantizing mlp.down_proj in layer 28/28...


CPU times: user 30min 52s, sys: 3min 40s, total: 34min 32s
Wall time: 27min 23s

由于内容太长，中间作了省略，不过仍然可以看出，量化是一层一层逐个对每个矩阵分别进行量化的，一个1.5B的模型量化过程耗时达27分钟。

保存量化后的模型和分词器状态。

  • quant_path指定了量化模型的保存路径
  • use_safetensors=True 参数表示使用安全张量格式（SafeTensors）进行保存，具有更好的安全性和性能。
  • tokenizer.save_pretrained为量化后的模型保存一份分词器配置。
quant_path = "/data2/anti_fraud/models/Qwen2-1__5B-Instruct-anti_fraud-gptq-int8"
model.save_quantized(quant_path, use_safetensors=True)
tokenizer.save_pretrained(quant_path)

输出保存的分词器配置。

    ('/data2/anti_fraud/models/Qwen2-1__5B-Instruct-anti_fraud-gptq-int8/tokenizer_config.json',
     '/data2/anti_fraud/models/Qwen2-1__5B-Instruct-anti_fraud-gptq-int8/special_tokens_map.json',
     '/data2/anti_fraud/models/Qwen2-1__5B-Instruct-anti_fraud-gptq-int8/vocab.json',
     '/data2/anti_fraud/models/Qwen2-1__5B-Instruct-anti_fraud-gptq-int8/merges.txt',
     '/data2/anti_fraud/models/Qwen2-1__5B-Instruct-anti_fraud-gptq-int8/added_tokens.json',
     '/data2/anti_fraud/models/Qwen2-1__5B-Instruct-anti_fraud-gptq-int8/tokenizer.json')
2.4 4位量化

上面是采用8位量化，作为对比，我们也量化一个4位模型，与8位量化的区别只在于量化配置时的参数bits改成了4，其它都不作改变.

quantize_config_int4 = BaseQuantizeConfig(
    bits=4,           # 4位量化
    group_size=128,   # 分组量化
    damp_percent=0.01,
    desc_act=False,  
    static_groups=False,
    sym=True,
    true_sequential=True,
    model_name_or_path=None,
    model_file_base_name="model"
)

采用4位量化配置来加载模型。

model_int4 = AutoGPTQForCausalLM.from_pretrained(model_path, quantize_config_int4)

对4位参数进行量化校验，校准数据集复用前面8位量化时生成的数据。

%%time
model_int4.quantize(dataset, cache_examples_on_gpu=False)

INFO - Start quantizing layer 1/28
INFO - Quantizing self_attn.k_proj in layer 1/28...
INFO - Quantizing self_attn.v_proj in layer 1/28...
INFO - Quantizing self_attn.q_proj in layer 1/28...
INFO - Quantizing self_attn.o_proj in layer 1/28...
INFO - Quantizing mlp.up_proj in layer 1/28...
INFO - Quantizing mlp.gate_proj in layer 1/28...
INFO - Quantizing mlp.down_proj in layer 1/28...
INFO - Start quantizing layer 2/28
……
INFO - Start quantizing layer 28/28
INFO - Quantizing self_attn.k_proj in layer 28/28...
INFO - Quantizing self_attn.v_proj in layer 28/28...
INFO - Quantizing self_attn.q_proj in layer 28/28...
INFO - Quantizing self_attn.o_proj in layer 28/28...
INFO - Quantizing mlp.up_proj in layer 28/28...
INFO - Quantizing mlp.gate_proj in layer 28/28...
INFO - Quantizing mlp.down_proj in layer 28/28...


CPU times: user 37min 11s, sys: 3min 2s, total: 40min 13s
Wall time: 31min 56s

保存量化后的模型和分词器配置。

quant_int4_path = "/data2/anti_fraud/models/Qwen2-1__5B-Instruct-anti_fraud-gptq-int4"
model_int4.save_quantized(quant_int4_path, use_safetensors=True)
tokenizer.save_pretrained(quant_int4_path)

('/data2/anti_fraud/models/Qwen2-1__5B-Instruct-anti_fraud-gptq-int4/tokenizer_config.json',
 '/data2/anti_fraud/models/Qwen2-1__5B-Instruct-anti_fraud-gptq-int4/special_tokens_map.json',
 '/data2/anti_fraud/models/Qwen2-1__5B-Instruct-anti_fraud-gptq-int4/vocab.json',
 '/data2/anti_fraud/models/Qwen2-1__5B-Instruct-anti_fraud-gptq-int4/merges.txt',
 '/data2/anti_fraud/models/Qwen2-1__5B-Instruct-anti_fraud-gptq-int4/added_tokens.json',
 '/data2/anti_fraud/models/Qwen2-1__5B-Instruct-anti_fraud-gptq-int4/tokenizer.json')

3. 评测

与前文不同，这里统一采用测试数据集进行评测，以评估模型的最终性能。

原始模型评测（16位）
%run evaluate.py
testdata_path = '/data2/anti_fraud/dataset/test0819.jsonl'
evaluate(model_path, '', testdata_path, device, batch=True, debug=True)

progress: 100%|██████████| 2349/2349 [01:52<00:00, 20.87it/s]

tn：1136, fp:31, fn:162, tp:1020
precision: 0.9705042816365367, recall: 0.8629441624365483

这时的召回率recall0.8629和前文的测评结果0.9129有差异，前文用的验证集，这里用的是测试集，可能是这两个数据集的数据分布不均匀，导致两者结果有较大差异。

量化8位模型评测
%run evaluate.py
testdata_path = '/data2/anti_fraud/dataset/test0819.jsonl'
model_int8_path = '/data2/anti_fraud/models/Qwen2-1__5B-Instruct-anti_fraud-gptq-int8'
evaluate(model_gptq_path, '', testdata_path, device, batch=True, debug=True)

tn：1134, fp:33, fn:158, tp:1024
precision: 0.9687795648060549, recall: 0.8663282571912013

8位量化模型的评测结果与原始模型基本一致，说明8位量化依然保持了原始模型的推理表现。

量化4位模型评测
%run evaluate.py
testdata_path = '/data2/anti_fraud/dataset/test0819.jsonl'
model_int4_path = '/data2/anti_fraud/models/Qwen2-1__5B-Instruct-anti_fraud-gptq-int4'
tokenizer = AutoTokenizer.from_pretrained(model_int4_path)
model_int4_reload = AutoModelForCausalLM.from_pretrained(model_int4_path, device_map=device)
evaluate_with_model(model_int4_reload, tokenizer, testdata_path, device, batch=True, debug=True)

注：4位量化模型这里之所以要单独加载model，是因为GPTQ量化的4位模型有个限制——只能在GPU上运行，我们原先的加载方式会报错，详情可以参看本文最后的附：4位量化模型加载错误。

tn：1081, fp:86, fn:50, tp:1132
precision: 0.9293924466338259, recall: 0.9576988155668359

从这个结果来看，4位量化模型与原始模型的性能差别较大，具体体现在：

  1. 精确率下降明显，表明模型在检测欺诈文本时，误报（false positives）数量增加，模型可能会将更多的非欺诈文本错误地分类为欺诈文本。
  2. 召回率上升，模型在检测欺诈时漏报（false negatives）的数量减少，这意味着模型在检测欺诈文本时更加激进，尽可能减少漏报，哪怕误报增加。

4位量化比8位量化引入更多的信息丢失和噪声，模型权重和激活值的精度显著下降，最终导致分类效果的明显差异。

4. 模型文件差异

原始模型文件列表信息：

!ls -l /data2/anti_fraud/models/Qwen2-1__5B-Instruct-anti_fraud_1__0

    total 3026376
    -rw-rw-r-- 1 xiaoguanghua xiaoguanghua         80 Aug 29 11:30 added_tokens.json
    -rw-rw-r-- 1 xiaoguanghua xiaoguanghua        748 Aug 29 11:30 config.json
    -rw-rw-r-- 1 xiaoguanghua xiaoguanghua        242 Aug 29 11:30 generation_config.json
    -rw-rw-r-- 1 xiaoguanghua xiaoguanghua    1671853 Aug 29 11:30 merges.txt
    -rw-rw-r-- 1 xiaoguanghua xiaoguanghua 1975314632 Aug 29 11:30 model-00001-of-00002.safetensors
    -rw-rw-r-- 1 xiaoguanghua xiaoguanghua 1112152304 Aug 29 11:30 model-00002-of-00002.safetensors
    -rw-rw-r-- 1 xiaoguanghua xiaoguanghua      27693 Aug 29 11:30 model.safetensors.index.json
    -rw-rw-r-- 1 xiaoguanghua xiaoguanghua        367 Aug 29 11:30 special_tokens_map.json
    -rw-rw-r-- 1 xiaoguanghua xiaoguanghua       1532 Aug 29 11:30 tokenizer_config.json
    -rw-rw-r-- 1 xiaoguanghua xiaoguanghua    7028043 Aug 29 11:30 tokenizer.json
    -rw-rw-r-- 1 xiaoguanghua xiaoguanghua    2776833 Aug 29 11:30 vocab.json

8位量化模型的文件列表信息：

!ls -l /data2/anti_fraud/models/Qwen2-1__5B-Instruct-anti_fraud-gptq-int8

total 2235860
-rw-rw-r-- 1 xiaoguanghua xiaoguanghua         80 Sep 10 11:53 added_tokens.json
-rw-rw-r-- 1 xiaoguanghua xiaoguanghua       1062 Sep 10 11:53 config.json
-rw-rw-r-- 1 xiaoguanghua xiaoguanghua    1671853 Sep 10 11:53 merges.txt
-rw-rw-r-- 1 xiaoguanghua xiaoguanghua 2278014312 Sep 10 11:53 model.safetensors
-rw-rw-r-- 1 xiaoguanghua xiaoguanghua        269 Sep 10 11:53 quantize_config.json
-rw-rw-r-- 1 xiaoguanghua xiaoguanghua        367 Sep 10 11:53 special_tokens_map.json
-rw-rw-r-- 1 xiaoguanghua xiaoguanghua       1532 Sep 10 11:53 tokenizer_config.json
-rw-rw-r-- 1 xiaoguanghua xiaoguanghua    7028043 Sep 10 11:53 tokenizer.json
-rw-rw-r-- 1 xiaoguanghua xiaoguanghua    2776833 Sep 10 11:53 vocab.json

4位量化模型的文件列表信息：

!ls -l /data2/anti_fraud/models/Qwen2-1__5B-Instruct-anti_fraud-gptq-int4

total 1591120
-rw-rw-r-- 1 xiaoguanghua xiaoguanghua         80 Sep 10 12:50 added_tokens.json
-rw-rw-r-- 1 xiaoguanghua xiaoguanghua       1088 Sep 10 18:12 config.json
-rw-rw-r-- 1 xiaoguanghua xiaoguanghua    1671853 Sep 10 12:50 merges.txt
-rw-rw-r-- 1 xiaoguanghua xiaoguanghua 1617798120 Sep 10 12:50 model.safetensors
-rw-rw-r-- 1 xiaoguanghua xiaoguanghua        269 Sep 10 12:50 quantize_config.json
-rw-rw-r-- 1 xiaoguanghua xiaoguanghua        367 Sep 10 12:50 special_tokens_map.json
-rw-rw-r-- 1 xiaoguanghua xiaoguanghua       1532 Sep 10 12:50 tokenizer_config.json
-rw-rw-r-- 1 xiaoguanghua xiaoguanghua    7028043 Sep 10 12:50 tokenizer.json
-rw-rw-r-- 1 xiaoguanghua xiaoguanghua    2776833 Sep 10 12:50 vocab.json

可以看到，原始模型、8位量化、4位量化三者的模型文件大小分别3.08GB、2.27GB、1.61GB，量化位数越小，模型文件相应也越小。

另外还可以看到，模型文件大小与量化位宽的比例并不完全是线性关系。因为除了模型参数本身之外，还有模型架构、框架开销（pytorch）、优化器的动量和梯度信息等，这些都会影响着模型文件的总大小。

小结：本文通过gptq方法分别对微调后的模型进行了8位量化和4位量化，并对比了量化前后模型的性能指标差异，8位量化模型的性能指标变化小，而4位量化模型的性能指标变异较大。就我们这个场景来说，更适合采用8位量化模型。

附1：4位量化模型加载错误

使用如下代码进行先CPU加载再移到目标GPU时会报Found modules on cpu/disk错误：

model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16).eval().to(device)

错误详情：

ValueError: Found modules on cpu/disk. Using Exllama or Exllamav2 backend requires all the modules to be on GPU.You can deactivate exllama backend by setting `disable_exllama=True` in the quantization config object

原因：使用GPTQ方式量化int4模型时使用了exllama，这是一种高效的kernel实现，但需要所有模型参数在GPU上，因此对于GPTQ的4位量化模型，先使用CPU加载再移到GPU这种做法行不通。

解法：

  1. 在模型目录下的config.json文件中，在quantization_config配置块中设置disable_exllama=true或者use_exllama=false，来禁用exllama，不过可能会影响推理速度。
  2. 在加载模型时直接加载到GPU上，类似from_disk = AutoModelForCausalLM.from_pretrained(path, device_map="cuda:0")

附2：偏置参数未使用警告

在加载4位量化模型时会报此警告，详细信息如下：

Some weights of the model checkpoint at /data2/anti_fraud/models/Qwen2-1__5B-Instruct-anti_fraud-gptq-int4 were not used when initializing Qwen2ForCausalLM: ['model.layers.0.mlp.down_proj.bias', 'model.layers.0.mlp.gate_proj.bias', 'model.layers.0.mlp.up_proj.bias',
……
'model.layers.9.self_attn.o_proj.bias']

此问题的原因暂时未找到，哪位小伙伴知道原因有劳告知。
这个网页上有人报类似问题，但未说明原因：https://github.com/QwenLM/Qwen2/issues/239

参考资料

沉下心来学鲁班
关注
  • 23
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
大数据分析案例-基于随机森林算法构建新闻文本分类模型
m0_64336780的博客
02-01 6638
本次实验通过研究8种常见的新闻类别，找出其特点，构建新闻分类模型。模型的应用有利于各大新闻行业在发布新闻的时候能快速的得出待发布新闻的分类，提高效率，也有利于读者能精确的读取该分类下的新闻文章。本次实验是基于随机森林分类算法模型构建的新闻分类模型，最终模型准确率为90%，模型效果还不错，但是也还有改进之处，比如在数据预处理的时候，对中文文本的处理可以再细致点，使得分词效果更好，最后模型的准确率也会更高。通过这次Python项目实战，我学到了许多新的知识，这是一个让我把书本上的理论知识运用于实践中的好机会。
欺诈文本分类检测（十）：QLora量化微调
golfxiao的专栏
09-04 829
QLoRA只是通过量化技术减少了模型参数加载时的显存占用，但训练时仍然会反量化为16位进行矩阵计算，尤其是前向和反向传播阶段，显存的主要消耗来自于激活值、梯度和优化器状态，模型参数仅仅是一小部分，这就导致真正训练过程中占用的显存相比非量化时并没有减少。原因可能是由于我们的模型太小，训练时的批量相对较大，所以模型参数加载时所优化的那部分内存，与整个训练过程中所占用的内存相比比例较低，内存优化的整体效果就不明显。训练时的显存占用相比非量化时并没有明显变化，基本上占满了24G显卡的显存。
信用卡欺诈检测：2021 年顶级机器学习解决方案
fulk6667g78o8的专栏
12-01 2822
信用卡欺诈检测：2021 年顶级机器学习解决方案
机器学习四大基本模型：回归、分类、聚类、降维
热门推荐
GWENGJING的博客
09-03 1万+
在本文中，我对现代机器学习算法进行了简要梳理，我通过查阅转载众多博客和资料，基于实践中的经验，讨论每个算法的优缺点，并以机器学习入门者的角色来看待各个模型。
量化投资入门指南：量化交易系统框架与阿尔法模型
Sebastien23的博客
05-04 6469
目录 1. 量化交易系统框架 2. 阿尔法模型 2.1 阿尔法模型的定义 2.2 阿尔法模型的分类 2.2.1 理论驱动型阿尔法模型 2.2.2 数据驱动型阿尔法模型 2.3 实施策略的方式 1. 量化交易系统框架 下图简要描述了量化交易系统框架的主要组成部分。 量化交易系统主要包括三个模块，即阿尔法模型（alpha model）、风险模型(risk mod...
迈向通用异常检测和理解：大规模视觉语言模型（GPT-4V）率先推出
ResumeProject的博客
12-31 2543
异常检测是跨不同域和数据类型的关键任务。但是，现有的异常检测模型通常是针对特定域和模式设计的。本研究探讨了如何使用强大的视觉语言模型 GPT-4V（ision） 以通用方式处理异常检测任务。我们研究了 GPT-4V 在多模态、多域异常检测任务中的应用，包括图像、视频、点云和时间序列数据，涉及多个应用领域，例如工业、医疗、逻辑、视频、3D 异常检测和定位任务。为了提高 GPT-4V 的性能，我们结合了不同类型的附加提示，例如类信息、人类专业知识和参考图像作为提示。
python分类分析模型_机器学习中最常见的四种分类模型
weixin_39737051的博客
12-28 2819
作者：Jason Brownlee翻译：候博学前言机器学习是一个从训练集中学习出算法的研究领域。分类是一项需要使用机器学习算法的任务，该算法学习如何为数据集分配类别标签。举一个简单易懂的例子：将电子邮件分类为“ 垃圾邮件 ”或“ 非垃圾邮件”(二分类的典型特征“非此即彼”，关于二分类，后文会涉及)。你可能会在机器学习中遇到许多不同类型的分类任务，但是其实每种模型都会使用与之相对应的建模方法。因此在...
AIGC重塑金融：AI大模型驱动的金融变革与实践
小洁洁
04-16 7440
这是最好的时代，也是最坏的时代。尽管大模型技术在金融领域具有巨大的应用潜力，但其应用也面临不容忽视的风险和挑战。本文将深入研究大模型在金融领域的数据隐私和安全风险、模型可解释性和透明度、监管和合规要求，梳理中国、美国、欧洲等地 AIGC 技术的应用规则，探索对应的风险管理和应对策略。
欺诈检测中的不平衡分类
全栈川川
11-04 1406
欺诈检测中的不平衡分类解决方案
欺诈文本分类微调（一）：基座模型选型
golfxiao的专栏
08-13 1031
通义千问Qwen2具有0.5B、1.5B、7B、72B等一系列参数大小不等的模型，我们需要做的是从大到小依次测试每个模型的能力，找到满足自己需要的最小参数模型。依1.5B和1.5B-Instruct的主要区别：按照官方文档，前者是预训练模型，后者是经过指令微调的模型。
欺诈文本分类微调（五）：模型评测
golfxiao的专栏
08-22 997
上面定义的评估数据集采用jsonl格式保存，所以需要一个方法来加载jsonl格式的数据集，本质上就是用json.loads分别加载每条数据，最后再组成一个list。在前文构造的测试数据集基础上，演练了文本二分类这类业务的评测过程，后续可以通过微调等手段提高模型在精确率和召回率两个指标上的表现来持续改进模型。
欺诈文本分类微调（四）：构造训练/测试集
golfxiao的专栏
08-21 1024
之所以要对一个完整的案例进行分割，是为了尽量贴合实际场景，一方面是一场会议比较长，我们不大可能把整个会议的ASR文本一次给到大模型做欺诈检测，另一方面是为了做到实时检测，这决定了我们拿到的必定是一段对话文本，而不是整个会议ASR。
欺诈文本分类微调（二）：生成正向数据集
golfxiao的专栏
08-19 1092
下面这个提示词是将案例报道的诈骗内容以对话的形式还原，输出包含指定字段的json格式。role: 你是一个分析诈骗案例并且擅长写作的专家，你的任务是将诈骗的案发过程以口语对话的形式还原。instruct:task:- 1. 分析{input}中描述的案发过程，识别出诈骗者和受害者角色，并为每个角色生成一个中文姓名。
欺诈文本分类微调（六）：Lora单卡训练
golfxiao的专栏
08-23 1044
这也是为什么在前面的准备数据环节时，做了很多像长度对齐、均衡分布相关的工作，目的就是去掉误导性的特征，让模型去学习真正的我们期望它去学习的特征。nizer。
卷积神经网络-经典分类网络结构(LetNet-5,AlexNet)
m0_73426548的博客
09-08 755
从图中，看到1 x 1卷积的过程，那么这里先假设只有3个1x1Filter，那么最终结果还是56x56x3。但是每一个FIlter的三个参数的作用，看作是对三个通道进行了线性组合。我们甚至可以把这几个FIlter可以看成就是一个简单的神经元结构，每个神经元参数数量与前面的通道数量相等。通常在卷积之后会加入非线性激活函数，在这里之后加入激活函数，就可以理解成一个简单的MLP网络了。
PMP–一、二、三模–分类–14.敏捷–技巧–看板面板与燃尽图&燃起图
stqer的博客
09-08 930
看板（类似卡片）易错看板（类似卡片）信息发射源看板（类似卡片）燃起图和燃尽图信息发射源燃起图与燃尽图看板（类似卡片）燃起图和燃尽图看板面板与燃起图&燃尽图敏捷团队的衡量结果敏捷团队的衡量结果信息发射源看板（类似卡片）
图分类！！！
最新发布
qq_56618414的博客
09-11 912
1阶相似度用于描述图中成对顶点之间的局部相似度，形式化描述为若 u , v 之间存在直连边，则边权 wuv 即为两个顶点的相似度，若不存在直连边，则1阶相似度为0。如上图，6和7之间存在直连边，且边权较大，则认为两者相似且1阶相似度较高，而5和6之间不存在直连边，则两者间1阶相似度为0。1st order 相似度只能用于无向图当中。DTW最初用于识别语音的相似性。我们用数字表示音调高低，例如某个单词发音的音调为1-3-2-4。现在有两个人说这个单词，一个人在前半部分拖长，其发音为1-1-3-3-2-4；
python计算机视觉——第八章 图像内容分类
weixin_46002351的博客
09-08 368
本章介绍图像分类和图像内容分类算法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉下心来学鲁班

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值