FAN_L~~模型优化

最新推荐文章于 2024-11-15 15:28:19 发布
最新推荐文章于 2024-11-15 15:28:19 发布
阅读量405 收藏
点赞数
分类专栏： 000、历史学习汇总 文章标签： 机器学习 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39097570/article/details/122226917
版权
本文探讨了多种深度学习模型优化技术，包括数据增强、解码方式改进、训练策略优化、标签平滑、模型量化、模型剪枝、知识蒸馏以及加速模型推理的方法，如ONNX-Runtime的应用，旨在提升模型性能和效率。
摘要由CSDN通过智能技术生成

1、数据增强

  • 单词替换法
  • 回译数据法
  • 半监督学习法
  • UDA
  • 对偶学习法
  • 标签对抗学习
  • 迭代式增强
  • 小样本学习
  • 强化学习
  • 回译数据法

2、解码方式

  • Greedy Decode(贪心解码)：每一个时间步的解码，都选取"最大值"作为解码结果.

  • Viterbi Decode(维特比解码)：考虑所有的解码可能, 挑选最优路径，时间复杂度太高，无法实际应用

  • Beam-search Decode(集束解码)：考虑折中的解码可能, 从中挑选最优路径，虽然无法保证得到最优解, 但是能够得到一个相对较好的局部最优解在工程时间上也可以接收.

3、训练策略

  • 缓解曝光效应 Exposure bias

    • Scheduled sampling：概率衰减的使用Teacher forcing

    • Weight tying：编码器、解码器词嵌入层进行权重共享

4、标签平滑

  • 标签平滑的作用:
    • 就是小幅度的改变原有标签值的值域，如[0, 0, 1] --> [0.1, 0.1, 0.8]，它适用于人工的标注数据可能并非完全正确的情况, 可以使用标签平滑来弥补这种偏差, 减少模型对某一条规律的绝对认知, 以防止过拟合。

5、模型量化

最低0.47元/天 解锁文章
【优化模型】优化模型算法求解指派问题
Fanjufei的博客
06-30 774
整数规划问题的求解可以使用 Lingo 等专用软件。对于一般的整数规划问题，无法直接利用 Matlab 的函数，必须利用 Matlab 编程实现分枝定界解法和割平面解法。但对于指派问题等 0 -1 整数规划问题，可以直接利用 Matlab 的函数 bintprog 进行求解。求解下列指派问题，已知指派矩阵为：...
【YOLOv8十万长文优化】独家魔改优化技巧+附20余个源码手把手教程
热门推荐
cv君的博客
08-01 2万+
【YOLOv8十万长文全解】v8 v9通用。独家魔改优化技巧+附20余个源码手把手教程; Hello，大家好，我是cv君，最近开始在空闲之余，经常更新文章啦！除目标检测、分类、分隔、姿态估计等任务外，还会涵盖图像增强领域，如超分辨率、画质增强、降噪、夜视增强、去雾去雨、ISP、海思高通成像ISP等、AI-ISP、还会有多模态、文本nlp领域、视觉语言大模型、lora、chatgpt等理论与实践文章更新，更新将变成一周2-3更，一个月争取10篇，重回创作巅峰
Transformer模型新SOTA--fully attentional networks (FANs) 学习笔记
charles_zhang_的博客
06-07 1342
最近的研究表明，视觉转换器（VIT）对**各种腐蚀（损坏、变体）具有很强的鲁棒性**。虽然这一特性部分归因于自我注意机制，但仍缺乏系统的理解。在本文中，我们研究了自我注意在学习鲁棒表征中的作用。我们的研究受到Vision Transformers中新兴视觉分组的有趣特性的推动，**这表明自我注意可以通过改进中级表征来提高稳健性**。我们进一步提出了一系列**全注意网络**（FANs），通过整合注意通道处理设计来加强这一能力。我们在各种层次主干上全面验证了设计。我们的模型在ImageNet-1k和ImageN
PyTorch 8.权值初始化与损失函数
DCGJ666的博客
11-25 662
PyTorch 8.权值初始化与损失函数权值初始化损失函数 权值初始化 举个例子，若随机变X与Y相互独立，且其均值为0，方差为1则有： D(XY)=D(X)D(Y)+D(X)E(Y)2+D(Y)E(X)2=D(X)D(Y)D(XY)=D(X)D(Y)+D(X)E(Y)^2+D(Y)E(X)^2=D(X)D(Y)D(XY)=D(X)D(Y)+D(X)E(Y)2+D(Y)E(X)2=D(X)D(Y) 那么有： H11=∑i=0nXi∗W1iH_{11}=\sum^n_{i=0}X_i*W_{1i}H11​=∑
Pytorch系列:（七）模型初始化
weixin_43973207的博客
06-13 2115
目录为什么要进行初始化一些常见初始化方法XavierKaimingLSTM初始化Embedding进行初始化其他通用初始化方法遍历初始化直接使用pytorch内置初始化使用apply进行初始化 为什么要进行初始化 首先假设有一个两层全连接网络，第一层的第一个节点值为 H11=∑i=0nXi∗W1iH_{11}= \sum_{i=0}^n X_i*W_{1i}H11​=∑i=0n​Xi​∗W1i​, 这个时候，方差为 D(H11)=∑i=0nD(Xi)∗D(W1i)D(H_{11}) = \sum_{i=0}
把“跟踪一切“搬到无人机上！MIT联合哈佛大学提出开放环境下的实时跟踪模型FAn
TechBeat人工智能社区博客
09-12 817
本文提出了一种新型的"感知一切"方法，称为FAn系统，其组合了多模态大模型与通用的视觉分割、检测和跟踪方法，并且通过一系列模型推理优化策略，极大的降低了视觉领域的SOTA模型在实时机器人系统上的部署难度。基于多模态大模型的开放词汇感知和多模态信息处理能力，FAn拥有较强的环境适应能力，同时提供了多种灵活的用户交互方式。
完全图解Seq2Seq Attention模型
hellozhxy的博客
08-03 9118
五分钟看懂seq2seq attention模型。 本文通过图片，详细地画出了seq2seq+attention模型的全部流程，帮助小伙伴们无痛理解机器翻译等任务的重要模型。   seq2seq 是一个Encoder–Decoder 结构的网络，它的输入是一个序列，输出也是一个序列， Encoder 中将一个可变长度的信号序列变为固定长度的向量表达，Decoder 将这个固定长度的向量变成可...
【MKS_GEN_L 主板使用说明书】
vor234的博客
09-11 1万+
MKSGEN-L主板是创客基地研发人员针对Ramps1.4等开源主板存在的问题，特别优化研发推出的一款产品。适合批量生产3D打印机的厂家作为主控板使用，可更换电机驱动，支持4988驱动和8825驱动等各种驱动，满足你的需求。预留电机脉冲和方向输出端口，方便外挂大电电机驱动电路，保留Ramps1.4上Servos、AUX-1、AUX-2接口，提供1个5V接口，提供灵活多样的选择。
51c大模型~合集10
whaosoft~aiotの开发板商城
11-04 683
我自己的原文哦~ https://blog.51cto.com/whaosoft/11547799美国太平洋时间 7 月 23 日，Meta 公司发布了其最新的 AI 模型 Llama 3.1，这是一个里程碑时刻。Llama 3.1 的发布让我们看到了开源 LLM 有与闭源 LLM 一较高下的能力。Meta 表示，“到目前为止，开源 LLM 在功能和性能方面大多落后于闭源模型。现在，我们正迎来一个由开源引领的新时代。”Meta 称 Llama 3.1 是目前最强的生成式 AI 产品。4 月份，Meta 已
【Go并发网络编程】：Fan-out_Fan-in模式在HTTP服务中的优化
[【Go并发网络编程】：Fan-out_Fan-in模式在HTTP服务中的优化](https://opengraph.githubassets.com/8f90ec82c0ef4ffe2621f7baa10fb70b7fb834adda4a291d4bc0cefc894e3b7e/go-study-lab/go-http-server) # 1. Go并发...
LLM大模型部署实战指南：Ollama部署简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发【含ollama详细部署指南多版本】
丨汀、的博客
08-13 1632
LLM大模型部署实战指南：Ollama简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发
FAN 2D/3D人脸关键点预测论文解读
rainforestgreen的博客
12-25 4233
论文全称为： How far are we from solving the 2D & 3D Face Alignment problem? (and a dataset of 230,000 3D facial landmarks) 简介       ICCV 2017的论文，结合最先进的人脸特征点定位（landmark localization）架构和最先进的残差模块（residu...
FAN 人脸对齐网络结构详细解析
rainforestgreen的博客
12-20 4321
    针对 How far are we from solving the 2D & 3D Face Alignment problem? (and a dataset of 230,000 3D facial landmarks)该论文提出的FAN网络，根据作者提供的pytorch源码，对FAN-2D网络，进行了详细分析解读。     下图为FAN-2D以及2D-to-3D模型的结构...
【机器学习】数学知识：对数
IT古董
11-12 722
对数是数学中一种重要的运算，它与指数密切相关。对数的主要功能是将乘法和除法转换为加法和减法，从而简化复杂的计算。以下是对数的基本概念、性质和应用。
【机器学习】数学知识：欧式距离（Euclidean Distance）和曼哈顿距离（Manhattan Distance）
最新发布
IT古董
11-15 794
欧式距离和曼哈顿距离是两种常用的距离度量方法，用于衡量两点之间的相似性或差异性。它们在几何分析、数据挖掘、机器学习等领域有广泛应用。欧式距离（Euclidean Distance）是最常见的直线距离度量方法，源于欧几里得几何学。它表示两点之间的直线距离，类似于二维或三维空间中两点间的最短路径。曼哈顿距离（Manhattan Distance）也称为“城市街区距离”或“L1 距离”，表示两点之间的路径长度，假设只能沿水平和垂直方向移动，类似于网格状街道上的步行距离。
【机器学习】数学知识：二项式定理
IT古董
11-12 365
二项式定理是一个重要的数学定理，它描述了一个二项式的 n次幂的展开形式。
从0开始学习机器学习--Day22--优化总结以及误差作业（上）
Chef_Chen的博客
11-12 336
假如我们有这样一个学习问题：我需要在{to,too,two}中选出一个填入以下句子：For breakfast, I ate __eggs.在这种问题中，句子的信息越多，算法越有可能得到答案，也就是说训练集数据额定增大是有益的。在房价问题中，假如我们只给了房屋面积的大小以及价格，单纯只靠这个预测到真实的价格的难度是很大的，毕竟还需要考虑所处位置的地价。其实，这类问题概括起来，只要解决了偏差和方差的问题就可以了，那么我们要做的就是让算法的参数尽可能地多的同时，再增加训练集的数量，这样，，这样我们就可以保证。
机器学习—Additional Layer Types
yn3535_的博客
11-12 364
如果你在神经网络中有多个卷积层，有时这叫卷积神经网络，为了说明卷积层，使用一维图像输入而不是二维，使用EKG，所以如果你在胸口放两个电极，你将记录如下所示的电压，与你的心跳相对应，实际上是在读取心电图信号，这些信号看起来像这样，试图诊断，如果病人有心脏问题，所以心电图信号有一个数字列表，对应于这个表面的高度，在不同的时间点，所以可能会有100个数字对应于这条曲线的高度，在100个不同的时间点，给出这个时间序列的学习任务，给这个心电图信号来分类，说这个病人是否有心脏病或一些可诊断的心脏病，以下是。
第十九周：机器学习
benbenxinchen的博客
11-10 876
本周复习了线性回归模型的基本概念、步骤以及应用场景，进一步延伸到代码层面。动手实践了吴恩达机器学习实验1——线性回归，单变量线性回归和多变量线性回归分别用sklearn库的LinearRegression模型和自定义线性回归模型训练数据并且进行预测，最终得出效率和准确率的对比。该实验不仅复习了模型训练的基本步骤，还进一步手动代码实现了模型的定义、损失函数的设置以及最优化的处理。为了更加熟悉pytorch框架的基本知识，本周还简单学习了torch的数据处理方式。
python写出 _calculate_fan_in_and_fan_out函数
09-10
_calculate_fan_in_and_fan_out函数用于计算神经网络中每个神经元的输入和输出连接数，它可以使用Python代码来实现：def _calculate_fan_in_and_fan_out(layers): fan_in = [] fan_out = [] for layer in layers...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值