- 博客(17)
- 收藏
- 关注
原创 Swin Transformer, SwinIR, SwinFIR
痛点:尺度变化 – 提出Hieracical.attention的变化: sliding window attention,减少了attention的计算复杂度,同时通过sliding增强connection,实现全局attention和ViT的区别:ViT16*下采样,尺寸单一;Swin Transformer多尺度
2022-11-08 11:02:19
1041
原创 Transformer, DETR, ViT, SwinIR
Transformer实现的意义和RNN是一样的,将时序信息传递给输入进行计算,实现时序信息的传递。RNN中是前一时刻传递给后一时刻,Transformer中是通过attention在全局的序列中提取信息。
2022-11-08 10:55:53
1498
原创 【经典论文回顾】ResNet: Deep Residual Learning for IR
ResNet目的:显示表示Identity Mapping, 有效减少了更深的网络的FLOP。
2022-11-08 10:49:43
442
原创 Data Augmentation: 基于albumentations库的图像数据增强
Albumentations 是一个用于图像增强的 Python 库。图像增强用于深度学习和计算机视觉任务,以提高训练模型的质量。图像增强的目的是从现有数据中创建新的训练样本。
2022-04-30 13:19:18
3906
原创 【機器學習2021】9 Generative Adversarial Network (GAN)
【機器學習2021】生成式對抗網路 (Generative Adversarial Network, GAN) (一) – 基本概念介紹Generation的理由:why distribution?训练资料中相同的input,可能需要对应不同的outputGenerative Adversarial Network (GAN)Basic Idea of GANGenerator / DiscriminatiorGNN Algorithm ( in each iteration, do step
2022-04-26 16:36:57
1673
原创 skip-gram推荐模型笔记
item-item推荐算法模型分析。用到了word2vec, CF, random walk, skip-gram, embedding
2022-04-19 11:03:03
836
原创 【機器學習2021】8.3 Transformer Training
【機器學習2021】Transformer (下)8.1/8.2是train好的模型的运作方式,接下来关注如何进行training和testingTeacher Forcing: use the GT as input训练目标:minimize cross entropy(见4.)Traning Tips (train seq2seq model)1. Copy Mechanism2. Guide Attention客制化attention,通过对任务的理解,强制要求attention的顺
2022-04-10 20:43:10
970
1
原创 【機器學習2021】8.2 Transformer Decoder
【機器學習2021】Transformer (下)以Autoregressive Decoder - Speech Recognition为例Error Propagation: 一步错步步错产生Exposure bias:解决方法 --scheduled samplinghttps://medium.com/analytics-vidhya/seq2seq-model-and-the-exposure-bias-problem-962bb5607097 原始论文结构图:总体Input:
2022-04-10 20:39:27
740
原创 【機器學習2021】8.1 Transformer Encoder
【機器學習2021】Transformer(上)Seq2seq的问题定义…Encoder 有很多个block,每个block是好几个layer block的图解结构,对应下面的各个步骤:取self-attention把self-attention得到的向量加上原向量(residual connection思路,一种常用的网络架构)取norm,这里是Layer Norm,类似batch norm的另一种norm。 Batch Norm是对于不同example的同一维度
2022-03-29 22:18:51
271
原创 【機器學習2021】7.5 Positional Encoding
Transformer的input没有位置概念,需要Positional Encoding / Positional Embedding其实就是在aia^iai加上一个eie^iei,这个eie^iei是根据某种embedding算法求出来的值,想让网络learn出位置信息对比不同的positional embedding算法的论文:g算法的论文:...
2022-03-29 22:15:24
81
原创 【機器學習2021】7 Self-attention
【機器學習2021】自注意力機制 (Self-attention)Transformer: Attention is all you needSelf-attention input可以是hidden layer的output1. Find the relevant vector in a sequence计算相关度(relevant) α\alphaα的方法: Dot-product & Additive每一个 α\alphaα 乘上不同的矩阵得到 q,k,vq, k, vq,k,v
2022-03-29 22:13:23
340
原创 【機器學習2021】6 Convolutional Neural Networks
卷積神經網路 (Convolutional Neural Networks, CNN)Model Bias:https://stackoverflow.com/questions/2480650/what-is-the-role-of-the-bias-in-neural-networksI think that biases are almost always helpful. In effect, a bias value allows you to shift the activation fu
2022-03-29 22:09:14
107
原创 【機器學習2021】5 Batch Normalization
類神經網路訓練不起來怎麼辦 (五): 批次標準化 (Batch Normalization) 簡介做Feature Normalization:为了更好的train, error surface更平滑, train更快(可能也更好)实做中,Feature Normalization在Activation Function(e.g. Sigmoid)前或后,效果差异不大网络中经过normalization之后,可能会再乘回 γ和β \gamma 和 \betaγ和β ,让特征回到原来的大小比例St
2022-03-29 22:07:35
272
原创 【機器學習2021】4 Classification Loss
類神經網路訓練不起來怎麼辦 (四):損失函數 (Loss) 也可能有影響Mean Square Error & Cross entropy分类任务时:softmax和cross entropy常绑定使用minimize cross entropy == maimum likelihood
2022-03-29 22:06:26
119
原创 【機器學習2021】3.5 Framework of ML
機器學習任務攻略Framework of Machine LearningStep1: Function with unknownStep2: define loss function from training dataStep3: optimizationGeneral GuideLoss很高的话:1 模型简单了 加输入的特征数、加层数…2 optimizer不够好 比如gradient decent优化效果不行判断是1还是2:Model Bias v.s. Optimizati
2022-03-29 22:04:41
111
原创 【機器學習2021】1-3 Local Minima
類神經網路訓練不起來怎麼辦 (一): 局部最小值 (local minima) 與鞍點 (saddle point)
2022-03-29 22:01:46
75
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人