深度学习的学习路径
零 数学基础
- CV:矩阵计算
- NLP:概率论、信息论
一 Python基础
1 编程基础:
- 编程环境:Anaconda Pycharm
- 语法基础:if \for\which
- 函数和高级变量
- 类
- 模块、包、文件
- 多任务
2 Linux操作系统
- 常用命令
3 机器学习库:
- k邻近、朴素贝叶斯
- 决策树
- 集成学习
- 线性回归和逻辑回归
- 特征值工程
- 感知机
4 python数据分析包:
- Numpy数据处理库
- Pandas数据处理库
- Matplotlib库
- Seaborn库
- Pyecharts库
- 数据分析实战
二 神经网络基础知识
1.神经网络与多层感知机
- 人工神经元:MP模型
- 多层感知机
- 激活函数(sigmoid\tanh\relu)
- 反向传播(BP):传播误差、梯度、学习率
- 损失函数:交叉熵损失函数,softmax函数
- 权值初始化
- 正则化:L1,L2,dropout,BN/GN/LN
2.卷积神经网络基础
- 卷积层
- 池化层
- 上采样层
- LeNet
3.循环神经网络
- RNN循环神经网络
- LSTM、BILSTM长短记忆循环神经网络
- GRU:门控循环单元
三 Pytorch入门
1.pytorch的数据结构—tensor和variable
2.Pytorch—张量操作与线性回归
3.pytorch的自动微分—autograd和逻辑回归
4.DataSet与DataLoader
5.Pytorch入门—计算图与动态图机制
6.Transform:数据的预处理/数据增强
7.模型创建初步
8.常用网络层
9.权值初始化和损失函数
10.优化器讲解
11.学习率调整策略
12.Tensorboard使用
13.hook函数与CAM可视化
14.正则化之weight_decay,Dropout
15.Normalization
16.模型保存和加载:Finetune
17.GPU的使用:PyTorch中常见报错
18.图像分类
19.图像分割
20.图像目标检测
21.对抗生成网络
22.循环神经网络
四 深度学习经典基础网络
1 传统经典的卷积神经网络:
- alexnet (2012 先驱)
- vgg
- googlenet
- inception
- resnet
- densenet
2 轻量化经典卷积神经网络
- mobilenet
- shufflenetv2
- squeezenet
3 神经网络自动搜索结构
- mnasnet
4 循环神经网络
- RNN
- LSTM
- BiLSTM
- GRU
五 CV图像基础
1 图像基础知识:
- 数字化图像
- 图像属性
2 常见图像处理:
- 绘图、添加文字
- 图像几何变换
- 图像滤波与增强
- 形态学变化
3 图像分割:
- 阈值分割
- 边缘检测
- 连通域分析
- 图像轮廓
- 区域生长
- 分水岭算法
4 图像特征与目标检测
- 图像特征理解
- 形状特征
- 纹理特征
- 模板匹配
- 人脸检测
- 行人检测
5 运动目标识别
- 摄像头调用
- 视频读取和保存
- 帧差法
- 光流法
- 背景减除法
6 CV专题
- 图像分类
- 图像检测
- 图像分割
- 视频跟踪
- 文字检测
- 超分辨率
- 身体姿态识别
六 NLP基础知识
1 文本特征
- 词袋模型
- 分布特征
- tf-idf权重
- n元语言模型
- 语言学特征:句法树
- BERT:语言模型与word Embedding,从Word Embedding到BERT
2 NLP专题
- 文本分类
- 序列标注
- 翻译
- 摘要生成
- 信息抽取
- 文本生成NLG
- 阅读理解
- 生成对话
- 建模关系数据
- 关系抽取
- 图神经网络
七 无监督学习
1 Gan网络
- 数据生成
八 强化学习
- 目前没有研究
十 深度学习经典论文
1 深度学习CV方向论文
主题:图像分类,图像检测,图像分割,视频跟踪,文字检测,超分辨率,身体姿态识别
1.Deep Learning
2.AlexNet
3.VGG
4.ResNet
5.GoogleNet
6.RetinaNet
7.YOLO v1
8.YOLO v3
9.SSD
10.DSSD
11.RCNN
12.Faster RCNN
13.Mask R-CNN
14.MTCNN
15.Facenet
16.FCN
17.U-Net
18.DeepLab
19.SegNet
20.PSPNet
21.LinkNet
22.目标跟踪器的综述和综合测评
23.FCNT
24.GOTURN
25.Siamese
26.CTPN
27.CRNN
28.hourglass
29.CenterNet
30.SENet
31.DRRN
32.LapSRN
33.RDN
34.PASSRnet
35.原生GAN
36.Deep Mutual Learning
37.DCGAN
38.DAFL
39.RARE
40.MTAN
41.ASTER
CV补充
2 深度学习NLP方向论文
主题:语言模型,机器翻译,文本分类,阅读理解,生成对话,序列标注,关系抽取,建模关系数据
1.Deep Learning
2.词向量
3.句和文档的embedding
4.机器翻译
5.transformer
6.GloVe
7.Skip Thought
8.TextCNN
9.基于字符“从0开始学习”的文本分类
10.动态卷积网络和n-gram思想用于句分类
11.fasttext
12.层次化attention机制用于文档分类
13.PCNNATT
14.E2ECRF
15.多层LSTM
16.基于卷积网络的seq2seq
17.谷歌的神经网络机器翻译
18.UMT
19.seq2seq
20. End-to-End Memory Networks
21. QANet
22. 双向Attention
23. Dialogue
24. SeqGan
25. R-GCNS
26. 大规模预料模型
27. Transformer-XL
28. TCN
29. Deep contextualized word represntations
30. BERT—NAACL
31. ARNOR
32. ERNIE
33. Meta-learning
34. SER
十一 数据结构
- 线性表(Linear List)
- 栈与队列 ( Stacks and Queues)
- 字符串 (Strings)
- 二叉树 ( Binary Trees )
- 树 (Trees)
- 图 (Graphs)
- 内排序( Internal Sorting )
- 外排序 (File and External Sort)
- 检索( Retrieval)
- 索引 (indexing)
- 高级数据结构 (Advanced Data Structures , List-Structure)
十二 算法设计
1.基础知识:算法的基本概念及伪代码描述,函数的渐近的界
2.基础知识:序列求和方法、递推方程求解
3.分治策略
4.动态规划
5.贪心法:
6.回溯
7.回溯和分支限界
十三 再学数学
- 矩阵论:矩阵求导术
- 概率论:应用随机过程:概率模型导论
- 离散数学
- 应用数学:符号计算-数学问题的机械化
十三 基于c/c++的sdk编程
十四 自制操作系统
十五 基于c/c++的ddk编程
十六 计算机硬件
十七 人工智能
附加:期间可以或者需要学会:前端、后端、运维、安全、各种实际场景的各种数据传递和变化
还有管理知识