《PyTorch深度学习实践》第一讲overview

B站刘二大人视频链接：1. Overview_哔哩哔哩_bilibili

算法思想

• 穷举法：把每一种可能情况都列出来

• 贪心法：对于每一步，选择当前看来最合适的选择 （机器学习：梯度下降）

• 分治法：一分为二，分而治之 （快排算法）

• 动态规划：基本思想与分治法类似，将待求解的问题分解为若干个子问题（阶段），按顺序求解子阶段， 前一子问题的解，为后一子问题的求解提供了有用的信息 。在求解任一子问题时，列出各种可能的局部解，通过决策保留那些有可能达到最优的局部解，丢弃其他局部解。依次解决各子问题，最后一个子问题就是初始问题的解。通俗的说，就是通过记住已经求出的解并在这些解的基础之上求解下一步。

深度学习在AI领域所处的位置

学习系统的发展

• 基于规则系统：手工设计程序

• 经典机器学习：人工设计特征（x：向量) 、寻找映射函数f(x) 。比如成绩预测问题中，发现高等数学和英语对下学期的物理成绩有影响，那么可以人为提取特征：高等数学成绩、英语成绩。

• 表示学习：训练专门的特征提取器，用算法从复杂的非结构数据中提取出特征向量

• 深度学习：采用原始特征（图片的像素值张量、语音的波形序列、结构化数据的整条记录）进行简单的变换，设计额外的层用来提取特征，放入学习器（一般是多层神经网络）

维度诅咒与表示学习

学习器面临维度诅咒，维度越高需要的数据量就越大，数据量越大花钱越多。因此需要降维（表示学习的目标）。

将10维空间映射到3维空间，需要寻找此3×N的矩阵，同时尽量保持高维空间中的信息。这个过程就是表示学习。

为了提高机器学习系统的准确率，我们就需要将输入信息转换为有效的特征，或者更一般性地称为表示（Representation）。从原始输入数据中自动地学习出有效的特征，并提高最终机器学习模型的性能的方法叫表示学习（Representation Learning）。

流形学习 manifold ：举例：假设宇宙是三维的，但大部分信息都在一个平面上，那么我们用平面上的信息来表示它，这就从三维降到二维

表示学习的另一个重要角度就是基于流形的几何概念。流形学习假设现实中我们观察到的高维数据是低维数据在高维的映射。对于表示在流形学习中的理解，我们可以思考一个流形，他是输入空间的一个变化，可以在学到的表示中被反应出来或被获取到(通过对输入空间的变化得到一个流形)。流形学习注重的是数据的拓扑结构，变化方向等。

机器学习思考路径

scikit-learn给出的思考路径

支持向量机SVM的缺点

机器学习方法，可参考视频快速理解：【数之道】支持向量机SVM是什么，八分钟直觉理解其本质_哔哩哔哩_bilibili

神经网络的简单历史

感知机Perceptron就是模仿生物的神经元。将很多感知机相连接成为人工神经网络。

神经网络需要：算法 数据 算力（英伟达显卡）

反向传播 Back Propagation

• 核心是计算图，基于图的基本算法，将来只需确定这些基本算子的偏导，就可以在图中传播这些导数。避免了计算关于权重的偏导

• 优点：可以构建非常复杂的计算图；具有弹性（图改了不要紧，元子运算没变的话，算法还能用）

吃了这块饼，好好学！

题外话：终于找到适合自己的入门教程，非常适合转专业基础弱的同学了，刘老师好温柔举的例子也通俗易懂，学起来都更有动力了哈哈哈哈，欢迎大家批评指正多多交流，一起加油~