Pytorch框架实践学习记录（一）——Overview

1.人类的智能过程

• 由信息（information）得到推理（infer）
• 由图像（image）得到预测（prediction）
• …

2.机器学习

• 将之前用来进行推理的大脑换成算法。
• 所学课程中的算法思维方式：穷举、贪心、分治、动态规划等。
• 机器学习中的算法：在数据集上由模型训练得到，大部分时基于统计的学习方法。
• 深度学习属于机器学习的一种方法。

3.学习系统

• 基于规则的系统：例如，由程序求原函数（先构造一批知识/规则库，例如${\int }_{}^{}{e}^{x}dx=e^x$,${\int }_{}^{}{x}^{N}dx=\frac{1}{N+1}{x}^{N+1}$、${\int }_{}^{}(f(x)+g(x))dx={\int }_{}^{}f(x)dx+{\int }_{}^{}g(x)dx$、三角变换等，再设计算法）。缺点：规则制定难、数量多。
• 经典机器学习方法：输入-手工特征提取-找到输入与输出之间的映射-输出。
• 表示学习：维度诅咒→解决方法：学到由高维空间降到低维空间的表示（流形Manifold）。
• 深度学习：属于表示学习，也叫end-to-end的训练过程。
  

4.传统机器学习策略

5.SVM受到的挑战

• 手工提取特征的限制
• 在大数据集上效果不好
• 越来越多应用需要处理无结构数据：图像、文本、声音等

6.神经网络

• 最早来源于神经科学。
• 现在的神经网络来源于数学和工程学。
• 反向传播：实质是求偏导数，核心是计算图（先正向计算（前馈）。
• 最早的深度学习模型：LeNet5（1998年）。