nndl-复旦-神经网络与深度学习笔记1

第一章

使用机器学习模型步骤：

• 数据预处理
• 特征提取
• 特征转换
  • 常用的有主成分分析（PCA），线性判别（LDA）
  • 降维：特征抽取、特征选择
  • 升维
• 预测

表示学习

• 局部表示

  一种表示颜色的方法是以不同名字来命名不同的颜色， 这种表示方式叫作局部表示， 也称为离散表示或符号表示． 局部表示通常可以表示为one-hot 向量的形式．假设所有颜色的名字构成一个词表 𝒲， 词表大小为 |𝒲|． 我们可以用一个 |𝒲| 维的 one-hot 向量来表示每一种颜色． 在第 𝑖 种颜色对应的one-hot 向量中， 第 𝑖 维的值为 1， 其他都为 0．

• 分布式表示

  另一种表示颜色的方法是用 RGB 值来表示颜色， 不同颜色对应到 R、 G、 B 三维空间中一个点， 这种表示方式叫作分布式表示． 将分 布 式 表 示叫 作分散式表示可能更容易理解， 即一种颜色的语义分散到语义空间中的不同基向量上．分布式表示通常可以表示为低维的稠密向量．

深度学习

所谓 “深度” 是指原始数据进行非线性特征转换的次数． 如果把一个表示学习系统看作一个有向图结构， 深度也可以看作从输入节点到输出节点所经过的最长路径的长度

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CSOCA7s9-1605796948989)(C:\Users\CHH-Fire\AppData\Roaming\Typora\typora-user-images\image-20201116195312133.png)]

深度学习需要解决的关键问题是贡献度分配问题， 即一个系统中不同的组件（component）或其参数对最终系统输出结果的贡献或影响

• 端到端学习

  端到端学习 （End-to-End Learning）， 也称端到端训练， 是指在学习过程中不进行分模块或分阶段训练， 直接优化任务的总体目标

神经网络

首个可学习的人工神经网络是赫布网络， 采用一种基于赫布规则的无监督学习方法． 感知器是最早的具有机器学习思想的神经网络， 但其学习方法无法扩展到多层的神经网络上． 直到 1980 年左右， 反向传播算法才有效地解决了多层神经网络的学习问题， 并成为最为流行的神经网络学习算法．