深度学习的学习路径

最新推荐文章于 2024-04-17 09:36:27 发布

*Major*

最新推荐文章于 2024-04-17 09:36:27 发布

阅读量2.1k

点赞数 3

本文链接：https://blog.csdn.net/qq_41375318/article/details/104776858

版权

深度学习的学习路径

零数学基础

CV:矩阵计算
NLP:概率论、信息论

一 Python基础

1 编程基础：

编程环境：Anaconda Pycharm
语法基础：if \for\which
函数和高级变量
类
模块、包、文件
多任务

2 Linux操作系统

常用命令

3 机器学习库：

k邻近、朴素贝叶斯
决策树
集成学习
线性回归和逻辑回归
特征值工程
感知机

4 python数据分析包：

Numpy数据处理库
Pandas数据处理库
Matplotlib库
Seaborn库
Pyecharts库
数据分析实战

二神经网络基础知识

1.神经网络与多层感知机

人工神经元：MP模型
多层感知机
激活函数（sigmoid\tanh\relu）
反向传播（BP）:传播误差、梯度、学习率
损失函数：交叉熵损失函数，softmax函数
权值初始化
正则化：L1,L2,dropout,BN/GN/LN

2.卷积神经网络基础

卷积层
池化层
上采样层
LeNet

3.循环神经网络

RNN循环神经网络
LSTM、BILSTM长短记忆循环神经网络
GRU：门控循环单元

三 Pytorch入门

1.pytorch的数据结构—tensor和variable
2.Pytorch—张量操作与线性回归
3.pytorch的自动微分—autograd和逻辑回归
4.DataSet与DataLoader
5.Pytorch入门—计算图与动态图机制
6.Transform：数据的预处理/数据增强
7.模型创建初步
8.常用网络层
9.权值初始化和损失函数
10.优化器讲解
11.学习率调整策略
12.Tensorboard使用
13.hook函数与CAM可视化
14.正则化之weight_decay,Dropout
15.Normalization
16.模型保存和加载：Finetune
17.GPU的使用：PyTorch中常见报错
18.图像分类
19.图像分割
20.图像目标检测
21.对抗生成网络
22.循环神经网络

四深度学习经典基础网络

1 传统经典的卷积神经网络：

alexnet （2012 先驱）
vgg
googlenet
inception
resnet
densenet

2 轻量化经典卷积神经网络

mobilenet
shufflenetv2
squeezenet

3 神经网络自动搜索结构

mnasnet

4 循环神经网络

RNN
LSTM
BiLSTM
GRU

五 CV图像基础

1 图像基础知识：

数字化图像
图像属性

2 常见图像处理：

绘图、添加文字
图像几何变换
图像滤波与增强
形态学变化

3 图像分割：

阈值分割
边缘检测
连通域分析
图像轮廓
区域生长
分水岭算法

4 图像特征与目标检测

图像特征理解
形状特征
纹理特征
模板匹配
人脸检测
行人检测

5 运动目标识别

摄像头调用
视频读取和保存
帧差法
光流法
背景减除法

6 CV专题

图像分类
图像检测
图像分割
视频跟踪
文字检测
超分辨率
身体姿态识别

六 NLP基础知识

1 文本特征

词袋模型
分布特征
tf-idf权重
n元语言模型
语言学特征：句法树
BERT：语言模型与word Embedding，从Word Embedding到BERT

2 NLP专题

文本分类
序列标注
翻译
摘要生成
信息抽取
文本生成NLG
阅读理解
生成对话
建模关系数据
关系抽取
图神经网络

七无监督学习

1 Gan网络

数据生成

八强化学习

目前没有研究

十深度学习经典论文

1 深度学习CV方向论文
主题：图像分类，图像检测，图像分割，视频跟踪，文字检测，超分辨率，身体姿态识别
1.Deep Learning
2.AlexNet
3.VGG
4.ResNet
5.GoogleNet
6.RetinaNet
7.YOLO v1
8.YOLO v3
9.SSD
10.DSSD
11.RCNN
12.Faster RCNN
13.Mask R-CNN
14.MTCNN
15.Facenet
16.FCN
17.U-Net
18.DeepLab
19.SegNet
20.PSPNet
21.LinkNet
22.目标跟踪器的综述和综合测评
23.FCNT
24.GOTURN
25.Siamese
26.CTPN
27.CRNN
28.hourglass
29.CenterNet
30.SENet
31.DRRN
32.LapSRN
33.RDN
34.PASSRnet
35.原生GAN
36.Deep Mutual Learning
37.DCGAN
38.DAFL
39.RARE
40.MTAN
41.ASTER
CV补充

2 深度学习NLP方向论文

主题：语言模型，机器翻译，文本分类，阅读理解，生成对话，序列标注，关系抽取，建模关系数据
1.Deep Learning
2.词向量
3.句和文档的embedding
4.机器翻译
5.transformer
6.GloVe
7.Skip Thought
8.TextCNN
9.基于字符“从0开始学习”的文本分类
10.动态卷积网络和n-gram思想用于句分类
11.fasttext
12.层次化attention机制用于文档分类
13.PCNNATT
14.E2ECRF
15.多层LSTM
16.基于卷积网络的seq2seq
17.谷歌的神经网络机器翻译
18.UMT
19.seq2seq
20. End-to-End Memory Networks
21. QANet
22. 双向Attention
23. Dialogue
24. SeqGan
25. R-GCNS
26. 大规模预料模型
27. Transformer-XL
28. TCN
29. Deep contextualized word represntations
30. BERT—NAACL
31. ARNOR
32. ERNIE
33. Meta-learning
34. SER