PyTorch框架学习-总览

以前总用的tf框架，现在系统的练习下pytorch，将部分学习记录整理在此，尽量简洁明了，加油。

要求：会看技术文档很关键

教学课程很难跟上技术迭代的步伐，我们作为工程实践者一定要学会如何适应正在变化的技术。要知道深度学习框架是什么，要会看技术文档。

学习目标

1. 如何用pytorch实现学习系统
2. 理解基本的神经网络(深度学习)

知识储备

线性代数、概率论与数理统计(基本分布\随机变量与分布的关系)；
python(class\magic机制)。

笔记

1. 算法定义的不同

以往算法课

算法设计中指的是穷举法、贪心法、分治法、动态规划等。

ML、DL中的算法

是从数据中(机器)学习到的算法。机器学习是基于统计的方法。

范围

深度学习属于表示学习中。

2. 如何实现以后学习系统

表示学习中特征和学习器分开训练(如很多无监督学习)；
深度学习则是针对整个模型的训练，又称端到端的表示学习方法。

3. 发展

SVM的挑战

1. 人工处理特征受限制
2. 处理大规模数据集
3. 现在我们会处理很多无结构数据

感知机发展到人工神经网络

最重要的是反向传播，不是用解析式来求导，因为神经网络层数增多解析式会很难求，反向传播核心叫计算图。
前馈过程在计算，反过来求偏导(符合高等数学链式法则)

学习关键

1. 不是将所有的模型学会。而是去学习构建模型的套路，怎么实现，然后构建自己的模型。
2. 深度学习的不断发展的原因：
   算法的种类越来越多；
   可获取的数据量越来越大；
   算力的不断提升(主要指显卡)。