Pre-train 与 Fine-tuning

最新推荐文章于 2025-03-06 20:32:30 发布
最新推荐文章于 2025-03-06 20:32:30 发布
阅读量1.5w 收藏 23
点赞数 7
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yjl9122/article/details/70198885
版权

Pre-train的model:

就是指之前被训练好的Model, 比如很大很耗时间的model, 你又不想从头training一遍。这时候可以直接download别人训练好的model， 里面保存的都是每一层的parameter配置情况。(Caffe里对于ImageNet的一个model, 我记得是200+M的model大小)。你有了这样的model之后，可以直接拿来做testing, 前提是你的output的类别是一样的。

如果不一样咋办，但是恰巧你又有一小部分的图片可以留着做fine-tuning, 一般的做法是修改最后一层softmax层的output数量，比如从Imagenet的1000类，降到只有20个类，那么自然最后的InnerProducet层，你需要重新训练，然后再经过Softmax层，再训练的时候，可以把除了最后一层之外的所有层的learning rate设置成为0， 这样在traing过程，他们的parameter 就不会变，而把最后一层的learning rate 调的大一点，让他尽快收敛，也就是Training Error尽快等于0.

这就是我所理解的Fine-tuning和Pre-train的关系。

预训练 (Pretraining)
AI智能涌现深度研究
02-17 897
预训练模型、深度学习、自然语言处理、计算机视觉、迁移学习、微调 1. 背景介绍 在深度学习领域，预训练模型 (Pre-trained Models) 已经成为一种重要的技术趋势，并取得了显著的成果。预训练模型是指在大量未标记数据上进行训练的深度学习模型，它已经学习到了一些通用的特征和
bert 自己语料预训练pre-train、微调fine-tune；tensorflow/pytorch矩阵点乘、叉乘区别
weixin_42357472的博客
12-07 6148
矩阵点乘：对应位置直接相乘 矩阵叉乘：行向量的每一个元素乘以列向量中所有元素
大型语言模型训练的三个阶段：Pre-Train、Instruction Fine-tuning、RLHF (PPO / DPO / GRPO)
最新发布
lucius-liu.cn
03-06 1070
当前的大型语言模型训练大致可以分为如下三个阶段： 1. **Pre-train**：根据大量可获得的文本资料，采用自监督学习-预测 next token 的方式，训练得到预训练模型； 2. **Instruction Fine-tuning**：根据大量任务上的指令标记数据，采用监督学习的方式微调模型，使得模型可以理解人类指令； 3. **RLHF**：基于人类的反馈，采用强化学习的方式，使模型可以产出符合人类偏好的回答。
pre-training && fine-tuning(预训练与微调)
HFUTxyg的博客
04-09 893
由于最近在做一些研究，正好需要用到相关的方法，找到了一篇不错的文章，分享在此处以供有需要的人参考（以下文字均为引用，侵删）： 预训练(pre-training/trained)：你需要搭建一个网络来完成一个特定的图像分类的任务。首先，你需要随机初始化参数，然后开始训练网络，不断调整直到网络的损失越来越小。在训练的过程中，一开始初始化的参数会不断变化。当你觉得结果很满意的时候，就可以将训练模型的参数保存下来，以便训练好的模型可以在下次执行类似任务时获得较好的结果。这个过程就是pre-training。 之后，
预训练(pre-training/trained)与微调(fine tuning)
weixin_43489950的博客
07-06 2069
版权声明：本文为博主原创文章，引用时请附上链接。 https://blog.csdn.net/abc13526222160/article/details/89320108 &...
ML笔记：预训练(pre-training/trained)与微调(fine tuning)
Supporint的博客
11-28 3484
学习目标： 预训练（pre-training/trained）和微调（fine tuning）这两个词经常在论文中见到，今天主要按以下两点来说明。 什么是预训练和微调？ 它俩有什么作用? 一、什么是预训练和微调？ 预训练(pre-training/trained)：你需要搭建一个网络来完成一个特定的图像分类的任务。首先，你需要随机初始化参数，然后开始训练网络，不断调整直到网络的损失越来越小。在训练的过程中，一开始初始化的参数会不断变化。当你觉得结果很满意的时候，就可以将训练模型的参数保存下来，以便训练好的模
关于Pretrain、Fine-tuning、train
qq_38148600的博客
12-07 3244
[转载]关于Pretrain、Fine-tuning - 别再闹了 - 博客园这两种tricks的意思其实就是字面意思，pre-train(预训练)和fine -tuning(微调)关于为什么可以直接使用别人的模型：这位博主写了几种fine-tuning的方法：这位答主在这篇中给出了一个关于fine-tuning非常practical的例子:fine-tuning:利用已有模型训练其他数据集 - 知乎
源码解读之Pre-train
weixin_42316491的博客
01-15 966
pre-train是迁移学习的基础，虽然Google已经发布了各种预训练好的模型，而且因为资源消耗巨大，自己再预训练也不现实（在Google Cloud TPU v2 上训练BERT-Base要花费近500刀，耗时达到两周。在GPU上可想而知只会更贵），但是学习bert的预训练方法可以为我们弄懂整个bert的运行流程提供莫大的帮助。预训练涉及到的模块有点多，所以这也将会是一篇长文，在能简略的地方我...
LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection
YZRuin的博客
07-08 945
LogFormer是一个用于日志异常检测的预训练和调整流水线，包括预训练阶段和基于适配器的调整阶段。在预训练阶段，模型使用预训练语言模型（具体来说是Sentence-BERT）在源域数据集上提取日志序列的特征。随后，模型通过轻量级适配器将预训练的编码器模块转移到目标域，同时冻结预训练编码器和日志注意力层的参数。在HDFS、BGL和Thunderbird数据集上进行了实验，比较了LogFormer与DeepLog、LogAnomaly等方法的性能。实验中使用了二元交叉熵（BCE）损失进行训练。
【综述】Pre-train, Prompt and Recommendation: A Comprehensive Survey of Language Modelling Paradigm
qq_38866253的博客
03-29 1203
预训练模型和学习到的表示有助于一系列下游任务，本文系统调研了如何从不同PLM（Pre-trained Language Models）相关的训练范式学习到的预训练模型中提取和迁移知识，从而提升推荐性能（泛化性、稀疏性、效率和有效性等）。
Learning to Pre-train Graph Neural Networks（图预训练与微调差异）
nakaizura
02-23 3921
博主曾经整理过一篇图预训练的文章，此后有很多在Graph上做Pretraning的文章层出不穷，但基本上万变不离其宗，都是在node-level和graph-level上做自监督学习。 Learning to Pre-train Graph Neural Networks 这篇文章来自AAAI 2021。其核心的思想其实就是：如何缓解GNN预训练和微调之间的优化误差？ 首先作者论证了 GNN 预训练是一个两阶段的流程： Pre-traning。先在大规模图数据集上进行预训练。即对参数theta进行更新使其
pytorch pretrain Resnet resnet18-5c106cde.pth
03-14
resnet18-5c106cde.pth
文献阅读 ——— Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in NLP
weixin_44695049的博客
12-24 590
这篇文章的编写的动机是为了总结NLP的第四范式Prompt Learning
图模型中的两种适配技术Fine-tuning和 Prompting
weixin_43294615的博客
09-11 910
Fine-tuning 和 Prompting 是图神经网络（GNN）或其他深度学习模型从预训练转向下游任务的两种常用策略。它们在实际应用中都极为重要，分别针对不同的场景和需求，帮助预训练模型更好地适配特定任务。确定下游任务的目标。例如，在图节点分类任务中，Prompting 需要引导模型进行节点的正确分类。
预训练（Pre-training）
xw555666的博客
02-25 4874
预训练阶段在深度学习和自然语言处理（NLP）、计算机视觉（CV）等领域的模型构建中起着至关重要的作用。通过在大规模无标签数据集上进行预训练，模型可以学到丰富的语言结构、词汇关系、图像特征等通用知识，并将其编码为参数形式。这种预训练得到的模型能够提供高质量的初始化权重，这些权重包含了对世界广泛而深入的理解。总体来说，预训练和应用开发相辅相成，共同推动了AI技术的发展和落地应用。预训练大大提升了模型性能并降低了对大量标注数据的依赖，而应用开发则确保模型能够在实际问题中发挥出最佳效果。
bert之预训练（pretrain）
u011828519的博客
02-19 4220
一、数据准备 document: 每个样本是document粒度的，每个document用空行分隔 sentence：每个document又拆分为sentence，用换行符区分 每个document包含n个（n>=1）sentence 具体实例如下： 二、tfrecord生成 （1）利用 create_pretraining_data.py 即可生成tfrecord 代码传送门 python create_pretraining_data.py \ --input_file=./tmp/zh_t
深度学习算法中的预训练（Pretraining）
牛肉胡辣汤
09-23 1375
通过预训练，深度学习模型能够从无标签数据中学习到一些通用的特征表示，然后在有标签数据上进行微调，从而提高模型的泛化性能和训练效率。首先，加载预训练模型并替换最后一层全连接层，然后冻结预训练模型的参数。为了解决这个问题，预训练（Pretraining）技术应运而生，它通过在无标签数据上进行初始训练，然后在有标签数据上进行微调，从而加速和改善深度学习模型的训练。预训练是深度学习算法中一种重要的训练技术，通过在无标签数据上进行初始训练，然后在有标签数据上进行微调，可以加速和改善深度学习模型的训练过程。
深入理解预训练（pre-learning）、微调（fine-tuning）、迁移学习（transfer learning）三者的联系与区别
热门推荐
githubcurry
07-05 5万+
所以，就是指预先训练的一个模型或者指预先训练模型的过程；就是指将预训练过的模型作用于自己的数据集，并使参数适应自己数据集的过程。
使用CNN（convolutional neural nets）检测脸部关键点教程（五）:通过前训练（pre-train）训练专项网络
JOURNEY的专栏
06-14 6683
通过 训练针对不同特征点的专项网络 来完全使用训练集。针对多个模型训练时间过长，介绍了一种通过提前训练的权重来加速网络训练的技巧。 这是教程的最后一部分。
vits-fast-fine-tuning google colab
05-20
Sure! Here are the steps to fine-tune ViT-S on a custom dataset using Google Colab: 1. Open a new Google Colab notebook and select a GPU runtime environment. 2. Install the necessary libraries: ``` !pip install torch torchvision !pip install timm ``` 3. Download and prepare the custom dataset. You can use any dataset of your choice. Make sure to split it into training and validation sets. 4. Define the data loaders: ``` import torch import torchvision.transforms as transforms from torch.utils.data import DataLoader from torchvision.datasets import ImageFolder # Define the transformations transform_train = transforms.Compose([ transforms.RandomResizedCrop(224), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) transform_val = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) # Define the data loaders train_dataset = ImageFolder('path_to_train_data', transform=transform_train) train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True, num_workers=4) val_dataset = ImageFolder('path_to_val_data', transform=transform_val) val_loader = DataLoader(val_dataset, batch_size=32, shuffle=False, num_workers=4) ``` Replace 'path_to_train_data' and 'path_to_val_data' with the paths to your training and validation data folders, respectively. 5. Load the pre-trained ViT-S model: ``` import timm model = timm.create_model('vit_small_patch16_224', pretrained=True) ``` 6. Modify the last layer of the model to fit your custom dataset: ``` import torch.nn as nn num_classes = len(train_dataset.classes) model.head = nn.Sequential( nn.LayerNorm((768,)), nn.Linear(768, num_classes) ) ``` Replace '768' with the hidden size of the model you are using. For ViT-S, it is 768. 7. Define the optimizer and criterion: ``` import torch.optim as optim optimizer = optim.Adam(model.parameters(), lr=1e-4) criterion = nn.CrossEntropyLoss() ``` 8. Fine-tune the model: ``` device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model.to(device) num_epochs = 10 for epoch in range(num_epochs): train_loss = 0.0 val_loss = 0.0 correct = 0 total = 0 # Train the model model.train() for inputs, labels in train_loader: inputs, labels = inputs.to(device), labels.to(device) optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() train_loss += loss.item() * inputs.size(0) # Evaluate the model on validation set model.eval() with torch.no_grad(): for inputs, labels in val_loader: inputs, labels = inputs.to(device), labels.to(device) outputs = model(inputs) loss = criterion(outputs, labels) val_loss += loss.item() * inputs.size(0) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() train_loss = train_loss / len(train_loader.dataset) val_loss = val_loss / len(val_loader.dataset) accuracy = 100 * correct / total print('Epoch: {} \tTraining Loss: {:.6f} \tValidation Loss: {:.6f} \tAccuracy: {:.2f}'.format( epoch+1, train_loss, val_loss, accuracy)) ``` 9. Save the model: ``` torch.save(model.state_dict(), 'path_to_save_model') ``` Replace 'path_to_save_model' with the path where you want to save the model. That's it! You have fine-tuned ViT-S on your custom dataset using Google Colab.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值