使用迁移学习在线校准深度学习模型

已于 2023-11-11 12:34:43 修改
阅读量446 收藏 1
点赞数
分类专栏： 软测量Soft-Sensor 文章标签： 迁移学习 深度学习 人工智能
于 2023-11-11 12:23:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/asfdsdg/article/details/134346722
版权

使用迁移学习在线校准深度学习模型

本文参考的是2023年发表于Engineering Applications of Artificial Intelligence, EAAI的Deep Gaussian mixture adaptive network for robust soft sensor modeling with a closed-loop calibration mechanism

1. 动机

概念漂移导致历史训练数据和在线部署数据之间的分布失配问题，这会恶化深度学习模型的性能。不幸的是，现有的深度学习模型很少有处理在线漂移的校准机制。

2. 方法

  • 提出高斯混合条件变分自动编码器（GMCVAE）
  • 使用无标签数据对齐边缘分布、使用有标签数据对齐条件分布
  • 预训练-微调的方式进行在线部、闭环校准
  • 深度学习离线训练，迁移学习在线校准

基于迁移学习的在线校准机制

3. 优势

  • 多模态数据域适应
  • 半监督迁移学习
  • 高效校准能力
  • 模型长期有效性保证
cccont
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
提高深度学习分类模型准确率方法
cumtchw
06-23 6823
1.增加数据，数据越多越好，深度学习，数据为王。 2.检查数据，有些数据一张图片却包含另一类的对象，比如猫狗分类，一张图片里面既包含狗，又包含猫。所以最好是把所有的数据过一遍，把不太好的数据删除掉。 3.数据shuflle，prototxt已经shuffle了，但是还可以用脚本把txt文件给弄乱。 4.数据增强，就是旋转，光线。 5.调节学习率。 6.迁移学习，网上找一个类似的网络进行学...
深度学习经典和最新模型
weixin_43923223的博客
04-10 2171
1.深度学习基础-线性神经网络，多层感知器 2.卷积神经网络-lenet，alexnet，vgg，inception，resnet 3.循环神经网络-RNN，GRU，LSTM,seq2seq 4.注意力机制-attention。transformer 5.优化算法-SGD，Momentum，Adam 6.高性能计算-并行，多GPU，分布式 7.计算机视觉-目标检测，语音分割 8.自然语言处理-词嵌入，BERT 1.深度学习基础 深度学习的定义 物体分类，物体检测和分割，样式的迁移（将样式图片和内容相结合，滤
PyTorch深度学习实战 | 迁移学习与自然语言处理实践
不断学习，不断进步，提高自己
04-04 1229
因此，使用刚刚用验证集训练得到的模型，通过predict.py来预测验证集，人工检验预测的结果是否有效，这样子就能保证我们整体的单模流程完全没问题了。为此，我们对BERT进行了改写，将BERT的12层transformer生成的表示赋予一个权重,权重的初始化如式（1）所示，而后通过训练来确定权重值，并将每一层生成的表示加权平均，再通过一层全连接层降维至512维如式（2）所示，最后结合之前的IDCNN-CRF和BILSTM-CRF模型来获得多种异构单模。该模型的精度与BERT-BILSTM-CRF相当。
深度学习模型在移动端的部署
热门推荐
智云视图的博客
04-27 2万+
简介 自从 AlphaGo 出现以来，机器学习无疑是当今最火热的话题，而深度学习也成了机器学习领域内的热点，现在人工智能、大数据更是越来越贴近我们的日常生活，越来越多的人工智能应用开始在移植到移动端上，那能够快速高效地在移动端部署深度学习模型就变成亟待解决的问题了。 现阶段 app 上使用的深度学习主要有两种模式： Online 方式 首先在移动端做初步预处理，然后把数据传到服务器进行预测后返回移...
外卖广告大规模深度学习模型工程实践
美团技术团队
07-06 740
总第520篇2022年 第037篇在外卖广告CTR场景下，深度学习模型正在从简单DNN小模型过渡到千亿参数复杂模型。基于该背景，本文将重点针对大规模深度模型在全链路带来的挑战，从在线时延、离线效率两个方面展开，阐述外卖广告在大规模深度模型上的工程实践经验，希望能为读者提供思路上的借鉴。导语1 背景2 分析3 模型推理3.1 分布式3.2 CPU加速3.3 GPU加速4 特......
深度学习实战——模型推理优化（模型压缩与加速）
转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225
05-29 6599
本篇博客主要介绍几种模型推理优化方法的原理，并进行了代码实践与优化（内含代码与数据集）。
迁移学习（含代码示例）
GodGump的博客
06-16 5697
先安装fasttext 文本分类种类 二分类: 文本被分类两个类别中, 往往这两个类别是对立面, 比如: 判断一句评论是好评还是差评. 单标签多分类: 文本被分入到多个类别中, 且每条文本只能属于某一个类别(即被打上某一个标签), 比如: 输入一个人名, 判断它是来自哪个国家的人名. 多标签多分类: 文本被分人到多个类别中, 但每条文本可以属于多个类别(即被打上多个标签), 比如: 输入一段描述, 判断可能是和哪些兴趣爱好有关, 一段描述中可能即讨论了美食, 又太讨论了游戏爱好.fasttext_data文
利用多时间无人机数据和时空深度学习模型的作物产量预测
如果想成为中心，那么就到中心去吧。
07-19 1860
文章目录Abstract1 Introduction1.1 Related Work1.2 Contribution2 Materials and Methods2.1 Data Acquisition2.2 Data Preprocessing2.3 Model Architectures2.3.1. Convolutional Neural Networks2.3.2. Long Short-Term Memory Networks2.3.3. CNN-LSTM2.3.4. ConvLSTM2.3.5
知识蒸馏、轻量化模型架构、剪枝…几种深度学习模型压缩方法
华为云官方博客
03-13 2153
模型压缩算法旨在将一个大模型转化为一个精简的小模型。工业界的模型压缩方法有：知识蒸馏、轻量化模型架构、剪枝、量化。
《深度学习模型keras第十二讲：迁移学习与微调》源代码
05-17
迁移学习和微调是深度学习领域中至关重要的技术，它们极大地推动了模型在各种任务上的性能提升。迁移学习通过利用在一个大型数据集...因此，在实际应用中，我们应该充分利用这两种技术来提升深度学习模型的性能和效率。
深度学习图像分类迁移学习1.1节运行源码
04-12
程序
使用VGG19迁移学习实现图像风格迁移
08-31
使用VGG19迁移学习实现图像风格迁移 这是一个使用预训练的VGG19网络完成图片风格迁移的项目，使用的语言为python，框架为tensorflow。 给定一张风格图片A和内容图片B，能够生成具备A图片风格和B图片内容的图片C。此...
基于深度迁移学习的垃圾分类系统设计与实现
12-18
设计了一种基于深度迁移学习模型,对多种常见的可回收垃圾图像进行识别分类的垃圾图像分类系统.对比了VGG16、InceptionV3、InceptionResnetV2预训练模型的性能,最优识别正确率达到了90%以上,并进一步设计了基于Flask...
keras使用迁移学习实现医学图像二分类
08-31
整体上采用迁移学习来训练神经网络，使用InceptionV3结构，框架采用keras. 具体思路： 读取图片数据，保存成.npy格式，方便后续加载 标签采用one-hot形式，由于标签隐藏在文件夹命名中，所以需要自行添加标签，并...
初学迁移学习的理解
weixin_57128596的博客
05-20 827
微调是迁移学习的一种技术，它通常指的是在已经预训练好的模型基础上，对模型的部分或全部参数进行调整，以适应新任务的需求。微调可以在源域数据上进行，也可以在目标域数据上进行。假设你有一个在大规模图像数据集上预训练好的卷积神经网络（CNN），用于识别不同物体的图片。现在你有一个小型的数据集，包含了特定类型的物体图片，比如狗和猫。你可以使用迁移学习，将预训练的CNN模型作为基础模型，在你的小型数据集上进行微调，以便让模型学习到狗和猫的识别任务。
深度学习之基于Yolov7驾驶员疲劳检测系统
2301_79809972的博客
05-17 1030
一、项目背景随着汽车保有量的不断增加，驾驶安全问题日益受到人们的关注。驾驶员疲劳驾驶是导致交通事故的重要原因之一。因此，开发一种能够实时监测驾驶员疲劳状态并提前发出预警的系统对于保障驾驶安全具有重要意义。近年来，深度学习技术特别是目标检测技术在计算机视觉领域取得了显著进展，为驾驶员疲劳检测提供了新的解决方案。本项目旨在利用YOLOv7算法，开发一个基于深度学习的驾驶员疲劳检测系统。二、项目目标。
[深度学习]基于yolov8+bytetrack+pyqt5实现车辆进出流量统计+车辆实时测速实现
最新发布
FL1623863129的博客
05-23 524
以前使用过yolov5+deepsort实现过车辆进出流量统计+车辆实时测速，可以看我往期视频，这回改成yolov8+bytetrack实现，实时性更好，原理和原来一样。基于yolov8+pyqt5实现车辆进出流量统计+车辆实时测速_哔哩哔哩_bilibili。车速=单位像素车速x像素偏移/((当前帧索引-车辆进入帧索引)x(1/FPS))车速=单位像素车速x像素偏移/(车辆当前位置时间-车辆进入时间)时间为电脑本地时间或者在线北京时间。
打开深度学习的锁：（3）进阶知识补充
Jiashun Hao的博客
05-20 852
2：对于小权重的特征来说，损失也会增大，但也没有那么大，所以下一次更新的时候权重会减少但是没有很多。例如，如果你需要一个简化的模型来解释模型是如何做出决策的（特征选择），L1可能是更好的选择。如果你需要确保模型的所有参数都小一些，从而增强模型的泛化能力，那么L2可能是更合适的选择。除了正则化以外，一些对于设置的优化方式，也可以帮助建立更好的模型，主要有以下几点。，对于大权重的特征来说，损失会增大，所以下一次更新的时候权重会被减少很多。此外， Dropout正则化的设置比较灵活，对于重要的层，比如最后的。
深度学习迁移学习模型代码
05-20
下面是一个基于 TensorFlow 的迁移学习模型代码示例： ```python import tensorflow as tf import numpy as np from tensorflow import keras from tensorflow.keras import layers # 加载预训练模型 base_model =...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cccont

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值