[Hinton]Neural Network for Machine Learning-Concept

视频学习链接

参考博文

个人学习记录，有参考博文。初学阶段对知识的学习与理解必定会有谬误或误解，希望路过的前辈不吝赐教。

---

概念理解

机器学习：1、用于解决一些很难认知（想象）的问题 比如在不同光线环境下的3D物体
                  2、用于大量数据的计算且弱规则（？weak rules）
区别于普通的一对一特殊问题编程，机器学习首先录入大量的信息获取阈值（?加权和均值）作为标准，再根据特定的输入进行矫正

适用：1、识别模式：真实对象、面部识别、语言
           2、异常识别：信用卡的不正常序列、核电站的不正常读数
           3、预测：股票预测、喜好

理想原子化：去除不重要的、复杂的细节，以便于更好地理解主要的特征

 

，其中b为（bias）偏置值，通常是negative的（？负的），x为输入，w为对应的权值。

1、线性神经元 （Linear neuraon）简单但计算能力有限

2、二重阈值神经元（Binary threshold neurons）输出为1或0

3、矫正线性神经元（Rectified linear neurons）输入小于0时为0，大于零时为偏置值＋加权和

 4、Sigmoid neurons通常都会取一个真值输出，且其图像为处处光滑可导的 y=1/(1+e^-z)

5、随机二重神经元（Stochastic binary neurons）函数与上图相同，输出为概率

怎样学习权重？
给出要学习的资源，将每个序号代表的原子一一比对，若符合就增强该原子的权重，否则降低

监督学习(Supervised Learning)：给出一个向量，预测他的输出（？类似于输入法智能联想）
    1、Regression（回归）：其输出为一个或一串实数, 常作为一个敏感的测量工具
    2、Classification（分类）：其输出为一个类别标签（智能识别）
类似于一个函数映射，在训练过程中不断优化各项参数，是之最小化输出与目标之间的差异

强化学习(Reinforcement Learning)：输出时一系列的动作以尽可能地选择（？当前or最近）利益最大化的方法
难点：1、奖励通常是延迟的，所以很难知道未来的期望是对是错
           2、偶尔发生的奖励不能支持过长的预测
强化学习的参数一般都会在100或1k

无监督学习(Unsupervised Learning)：从输入中发掘一个好的、有代表性的、广泛使用的表征，然后猜测目标的含义
目标：1、创造一个输入的内部表征，且他将会在接下来的监督学习或者增强学习中发挥作用
           2、（？）你可以通过在视觉系统中设置参数预测一段距离的长度，而不需要去实际测量他
其他目标：1、提供一个紧凑的、低维度的表征作为输入。而高纬度输入通常可以基于一个（或几个）低纬度输入
                  2、提供一个经济的、高维度的表征输入作为特征的学习。例如二元特征（？）或是大量重复的实数组可以用很少的代价存储（仅存储值与特殊位置）
                  3、找到一个合理的输入聚类，例如只有一个非0输入的稀疏编码（？类似于2中提到的）

---

Lecture 2