深度学习知识点总结

本专栏主要总结深度学习中的知识点，从各大数据集比赛开始，介绍历年冠军算法；同时总结深度学习中重要的知识点，包括损失函数、优化器、各种经典算法、各种算法的优化策略Bag of Freebies (BoF)等。

• 各数据集历年冠军总结
• 常用公式总结
• 激活函数
• 损失函数
• 优化器
• 评价指标
• RNN
• Attention
• Transformer
• ViT
• 轻量级神经网络
• YOLO系列目标检测算法
• anchor-free系列目标检测算法
• 分割系列算法
• 姿态估计系列算法
• 目标追踪系列算法
• 文本检测系列算法
• 文本识别系列算法
• 其他

目录

---

1. 重要比赛历年冠军

1.1. 数据集

1.1.1. ImageNet

1.1.2. PASCAL VOC

1.1.3. MS COCO

1.2. 历年冠军

2. 常用

2.1 常用公式

2.1.1 卷积计算方式

2.1.2 常用导数计算公式

2.1.3 常用公式

2.2. 激活函数

2.2.1. 激活函数汇总

2.2.2. 激活函数总结分析

2.3. 损失函数

2.3.1 L1Loss

2.3.2 MSELoss

2.3.3 CrossEntropyLoss

2.3.4 NLLLoss

2.3.5 BCELoss

2.3.6 BCEWithLogitsLoss

2.3.7 MultiMarginLoss

2.3.8 MultiLabelMarginLoss

2.3.9 SmoothL1Loss

2.3.10 Focal loss

2.3.11 IoU Loss

2.3.12 GIoU Loss

2.3.13 DIoU Loss

2.3.14 CIoU Loss

2.3.15 CTCLoss

2.4. 优化器

2.4.1. SGD

2.4.2. Adagrad

2.4.3. RMSprop

2.4.4. Adadelta

2.4.5. Adam

2.4.6. 学习率调度器

2.5. 评价指标

3. 从RNN到Attention到Transformer

3.1 RNN

3.2 LSTM

3.3 Decode-Encode(Seq2Seq)

3.3.1 Encode-Decode(Seq2Seq)介绍

3.3.2 Encode

3.3.3 Decode

3.3.4 Seq2Seq

3.3.5 全部训练代码

3.4 Attention

3.4.1 Encode

3.4.2 Attention

3.4.3 Encode

3.4.4 Seq2Seq

3.5 Transformer

3.5.1 Self-Attention

3.5.2 位置编码

3.5.3 Multi-Head Attention

3.5.7 Transformer总体示意图

3.5.8 全部代码下载链接

3.6 ViT(Visual Transformaer)

---

4. 轻量级神经网络算法

4.1 各轻量级神经网络算法总结对比

4.2 SqueezeNet

4.3 DenseNet
4.4 Xception

4.5 MobileNet v1

4.6 IGCV
4.7 NASNet
4.8 CondenseNet
4.9 PNASNet
4.10 SENet

4.11 ShuffleNet v1

4.12 MobileNet v2

4.13 AmoebaNet
4.14 IGCV2
4.15 IGCV3

4.16 ShuffleNet v2

4.17 MnasNet

4.18 MobileNet v3

---

5. YOLO系列目标检测算法

5.1. YOLO系列目标检测算法总结对比
5.2. YOLOv1
5.3 YOLOv2
5.4 YOLOv3
5.5 YOLOv4
5.6 Scaled-YOLOv4

5.7 YOLOv5

5.8 YOLOv6

5.9 YOLOv7

---