- 博客(5)
- 收藏
- 关注
RSS订阅转载 归一化和标准化
归一化：对数据的数值范围进行特定缩放，但不改变其数据分布的一种线性特征变换。标准化：对数据的分布的进行转换，使其符合某种分布（比如正态分布）的一种非线性特征变换。
2021-12-01 19:22:05
135
原创 Flow模型
一、简述 Flow模型是生成模型，目标是找到输入样本的分布。Flow模型选择直接直面生成模型的概率计算。流模型有一个非常与众不同的特点是，它的转换通常是可逆的。也就是说，流模型不仅能找到从A分布变化到B分布的网络通路，并且该通路也能让B变化到A，简言之流模型找到的是一条A、B分布间的双工通路。当然，这样的可逆性是具有代价的——A、B的数据维度必须是一致的。 A、B分布间的转换并不是轻易能做到的，流模型为实现这一点经历了三个步骤：最初的NICE实现了从...
2021-11-29 12:53:23
5195
原创 RNN、Seq2Seq、Attention
一、RNN结构及使用 每个神经元接受的输入包括：前一个神经元的隐藏层状态 h (用于记忆) 和当前的输入 x (当前信息)。神经元得到输入之后，会计算出新的隐藏状态 h 和输出 y，然后再传递到下一个神经元。因为隐藏状态 h 的存在，使得 RNN 具有一定的记忆功能。 针对不同任务，通常要对 RNN 模型结构进行少量的调整，根据输入和输出的数量，分为三种比较常见的结构：N vs N、1 vs N、N vs 1。1.1 N vs N 输入和输出序列的长...
2021-11-29 10:08:12
1778
原创 GAN概述
Generative adversarial network（GAN）生成对抗网络1、GAN的初衷就是生成不存在于真实世界的数据。类似于使得AI具有创造力或者想象力。应用场景：①AI作家、AI画家等需要创造力的AI体②将模糊图变清晰（去雨、去雾、去抖动、去马赛克等），这需要AI具有所谓的“想象力”，能脑补情节③进行数据增强，根据已有数据生成更多数据供以feed，可以减缓模型过拟合现象2、GAN原理GAN的两大护法：G、DG是generator，生成器:负责凭空捏造数据出.
2021-11-29 09:33:33
3150
原创 知识蒸馏概念
在神经网络模型中，知识可以理解为模型中的参数权重。知识蒸馏就是模型压缩。核心思想：1、有一个复杂而强大的教师模型和另一个简单而弱小的学生模型。2、教师模型完整地学习Ground Truth（就是1就是1，0就是0），得出对于各个类别的概率预测值。然后学生模型同时学习Ground Truth和教师模型的Logit。最终达到的效果以教师模型的效果为准。3、最终使用的是学生模型而不是使用教师模型。...
2021-11-29 09:12:48
151
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人