学习2022-

星尘逸风

已于 2022-10-28 22:43:12 修改

阅读量504

点赞数

分类专栏：算法文章标签：深度学习

于 2022-10-15 14:30:06 首次发布

本文链接：https://blog.csdn.net/weixin_42394432/article/details/127334945

版权

算法专栏收录该内容

17 篇文章 2 订阅

订阅专栏

文章目录

基础
- C++
深度学习

最后更新，2022.10.28

基础

Hyperopt是一个强大的python库，用于超参数优化
https://blog.csdn.net/qq_33431368/article/details/124486865

python包tqdm可视化进度

python包gensim是NLP工具，包括很多常见模型比如LDA、TFIDF等

目标检测包商汤的mmdectetion

用lightgbm快速做机器学习建模

Python文件编译为exe或者sh文件，用pyinstaller命令

# python中*的用法，不定长参数的灵活性
def do():
    return 1,2
def add(a,b,c):
    print(a,b,c)
add(*do(),2)   # tuple的解构

def pr(*x):  # 传参任意数量
    print(x)
pr(1,2,3,[4])

a,b,*c=[1,2,3,4,5,6]  # 序列解包
print(a,b,c,type(c))  # 1 2 [3, 4, 5, 6]  <class 'list'>

C++

深度学习

Gelu

Bert Transfromer结构中使用了这个激活函数—gelu（Gaussian error linear units，高斯误差线性单元），它是一种高性能的神经网络激活函数，因为GELU的非线性变化是一种符合预期的随机正则变换方式
GELU在多项计算机视觉自然语言处理语音任务上效果优于ReLU、ELU。GELU可以看作dropout的思想和relu的结合，主要是为激活函数引入了随机性使得模型训练过程更加鲁棒。(在torch的transformer实现的代码里都是直接用relu+dropout而没有使用gelu)
在这里插入图片描述

和relu不同的地方在于，relu对于小于0的输出是置0的，而gelu则是有一定的概率不置0

def gelu(input_tensor):
	cdf = 0.5 * (1.0 + tf.erf(input_tensor / tf.sqrt(2.0)))
	return input_tesnsor*cdf

原论文，https://arxiv.org/pdf/1606.08415.pdf

Rdrop

为了解决 Dropout 在训练与预测时使用不一致的问题，提出了比dropout更优的Rdrop
Rdrop：每个数据样本重复经过带有Dropout的同一个模型，再使用KL散度约束两次的输出，使得尽可能一致，而由于 Dropout的随机性，可以近似把输入X走过两次的路径网络当作两个略有不同的模型
在这里插入图片描述

其中一部分的损失函数是交叉熵
在这里插入图片描述

另一部分的损失函数是KL散度，目的是让两次的输出，使得尽可能一致
（KL散度从信息损耗的角度来度量两个数据分布的差异程度，它是用来描述两个概率分布P和Q的差异的一种方法，在信息论中叫做信息散度）
在这里插入图片描述

最终loss就是两个loss的加权和
在这里插入图片描述

R-drop通过增加一个正则项来强化模型对dropout的鲁棒性，使得不同的dropout下模型的输出基本一致，促进“模型平均”与“权重平均”的相似性，从而使得简单关闭dropout的效果等价于多dropout模型融合的结果，提升模型最终性能。

原论文，https://arxiv.org/pdf/2106.14448.pdf

AdamW

AdamW是在Adam+L2正则化的基础上进行改进的算法，Adam的weight decay权重衰减版
因为使用Adam优化带L2正则的损失并不有效，所以才有AdamW
在这里插入图片描述

如果引入L2正则项，在计算梯度的时候会加上对正则项求梯度的结果。
那么如果本身比较大的一些权重对应的梯度也会比较大，由于Adam计算步骤中减去项会除以梯度平方的累积开根号，使得减去项偏小。按常理说，越大的权重应该惩罚越大，但是在Adam并不是这样，分子分母相互抵消掉了
而权重衰减对所有的权重都采用相同的系数进行更新，越大的权重显然惩罚越大
在常见的深度学习库中只提供了L2正则，并没有提供权重衰减的实现
但如果使用了weightdecay就不必再使用L2正则化了

原论文，https://openreview.net/pdf?id=rk6qdGgCZ

#triplet loss

三元损失函数，主要是用于训练差异性小的样本，比如人脸等；其次在训练目标是得到样本的embedding任务中，triplet loss 也经常使用，比如文本、图片的embedding

过拟合和欠拟合

过拟合：训练集效果很好，但是验证集很差，这种现象称为过拟合，表现为高方差
解决方法：数据增强（NLP-EDA：增删改替换、CV-切割裁剪旋转、数据融合Mixup、GAN生成新数据）、对抗训练、集成学习（Bagging）、正则化、Dropout、Early Stoping、降低模型复杂度
欠拟合：训练集和验证集的效果都很差，这种现象称为欠拟合，表现为高偏差
解决方法：特征工程（FM、FFM、增加特征、交叉特征）、集成学习（Boosting）、提高模型复杂度、减少或去掉正则化（添加正则化项是为了限制模型的学习能力，减小正则化项的系数则可以放宽这个限制）

模型

Transformer

原始Transformer指的是一个基于Encoder-Decoder框架的Seq2Seq模型，用于解决机器翻译任务；
后其Encoder部分被用于BERT而广为人知，因此有时Transformer也特指其Encoder部分

Transformer Encoder 代码

import math

import torch
import torch.nn as nn
import torch.nn.functional as F
import einops


class TransformerEncoder(nn.Module):

    def __init__(self, n_head, d_model, d_ff, act=F.gelu):
        super().__init__()

        self.h = n_head
        self.d = d_model // n_head
        # Attention
        self.Q = nn.Linear(d_model, d_model)
        self.K = nn.Linear(d_model, d_model)
        self.V = nn.Linear(d_model, d_model)
        self.O = nn.Linear(d_model, d_model)
        # LN
        self.LN1 = nn.LayerNorm(d_model)
        self.LN2 = nn.LayerNorm(d_model)
        # FFN
        self.W1 = nn.Linear(d_model, d_ff)
        self.W2 = nn.Linear(d_ff, d_model)
        self.act = act
        #
        self.dropout = nn.Dropout(0.2)

    def attn(self, x, mask):
        q, k, v = self.Q(x), self.K(x), self.V(x)
        q = einops.rearrange(q, 'B L (H D) -> B H L D', H=self.h)
        k = einops.rearrange(k, 'B L (H D) -> B H D L', H=self.h)
        v = einops.rearrange(v, 'B L (H D) -> B H L D', H=self.h)
        a = torch.softmax(q @ k / math.sqrt(self.d) + mask, dim=-1)  # [B H L L]
        o = einops.rearrange(a @ v, 'B H L D -> B L (H D)')
        o = self.O(o)
        return o

    def ffn(self, x):
        x = self.dropout(self.act(self.W1(x)))
        x = self.dropout(self.W2(x))
        return x

    def forward(self, x, mask):
        x = self.LN1(x + self.dropout(self.attn(x, mask)))
        x = self.LN2(x + self.dropout(self.ffn(x)))
        return x


model = TransformerEncoder(2, 4, 8)
x = torch.randn(2, 3, 4)
mask = torch.randn(1, 1, 3, 3)
o = model(x, mask)

model.eval()
traced_model = torch.jit.trace(model, (x, mask))

x = torch.randn(2, 3, 4)
mask = torch.randn(1, 1, 3, 3)

assert torch.allclose(model(x, mask), traced_model(x, mask))

深入剖析PyTorch中的Transformer API源码-bilibili
https://www.bilibili.com/video/BV1o44y1Y7cp/?spm_id_from=333.788&vd_source=95e3882229b54d25e23e9ef1d1062633

Transformer 与 RNN/CNN 的比较：

上下文语义特征
在抽取上下文语义特征（方向+距离）方面：Transformer > RNN > CNN
RNN 只能进行单向编码（Bi-RNN 是两个单向）；在长距离特征抽取上也弱于 Transformer；有论文表明：RNN 最多只能记忆 50 个词左右的距离；
CNN 只能对短句编码（N-gram）；
Transformer 可以同时编码双向语义和抽取长距离特征；
序列特征
在抽取序列特征（顺序）方面：RNN > Transformer > CNN
Transformer 的序列特征完全依赖于 Position Embedding，当序列长度没有超过 RNN 的处理极限时，位置编码对时序性的建模能力是不及 RNN 的；
计算速度
在计算速度方面：CNN > Transformer > RNN
RNN 因为存在时序依赖难以并行计算；
Transformer 和 CNN 都可以并行计算，但 Transformer 的计算复杂度更高；

MobileNet
siamRPN算法
swin transformer 移动窗口，图像分割
Doc2vec
BERT
VQA视觉问答多模态
对抗训练FGM、PGD
知识图谱
表示学习
不平衡学习
对比学习
轻量化

遗传算法、模拟退火算法
广告CVR模型ESMM
时间序列ARMA模型