小闹钟的机器学习笔记（1）

机器学习

机器学习的目的是给出能自动识别数据模式的策略，并使用研究出的模式对数据或其他输出进行预测。

目前机器学习主要分为以下两种类型：

• 监督学习
  又称为预测学习，目的是在给定输入输出的情况下，研究从输入x到输入y的演变方法。
  输入x中包含的内容又称为属性、特征或者变量。x可以为很复杂的一个结构对象，比如说一张图片、一个句子、一段邮件等
  同样地，它的输出y也可以是任何类型。当y具有类别时，这个求出演变方法的问题被称为分类或是模式识别，当y是一个真值时，该问题被称为回归。
• 非监督学习
  又称为描述性学习，目的是在给定输入x的情况下，寻找出“有趣的模式”。

除此以外，还有机器学习的第三种类型：强化学习。

分类

分类的目的是建立从输入x到输出y的一个映射，y是一个种类的集合。

如果y的种类为2，则又可以称为二分类（binary classification），如果y的种类大于2，则称为多分类（multiclass classification）。分类标签可以重叠。

我们可以使用近似函数的方法来逼近寻找出分类方法。输入x可以为离散的、连续的或者为一个组合。

在进行分类时，可能遇到无法区分的情况，这时我们就要使用概率预测的方法。

Q-learning

agent根据环境的反馈做出决策。在对环境的观测中分为两种：完全观测与不完全观测，一般情况下将完全观测作为前提。

采用的策略同样分为两种：deterministic policy和stochastic policy。

价值函数用来计算此后时刻所得到的补偿，存在一个指数型的衰减。

最后求出的策略为在某状态上采取某行动时会得到何种补偿。

Markov过程

下一步状态只取决于当前状态，与以往状态无关。

决策过程（S,A,P,R,r），其中S是一个状态序列，A是一个行动序列，P是概率矩阵，R是反馈公式，r是一个补偿因素。

通过贝尔曼方程求出v表示当前+以后的补偿reward。

GAN

目前常见的类型包括：

• conditional GAN
• CycleGAN
• Wasseeston GAN
• Deep convolutional GAN

生成网络G的输入为随机矩阵，输出为假图像（fake image），通过判定网络D为训练集和输出的假图像进行区分。

训练D，使得real data输出为1，generated data输出为0。

训练G，使得all data输出为1。

CycleGAN（循环一致对抗网络）是一个双向的网络，可以处理两组训练集。

ISCNN（不变散射卷积网络）

应用：平移、旋转、刚体变换。（既希望平移不变，又希望变形稳定）

性质：能量随损失快速递减，平移不变，变形稳定，计算很快。可以作为特征提取的过程。

• DeepCNN：变形稳定，分类成功，滤波器需要训练。
• ISCNN：和欣慰散射变换，分为小波变换、取模、池化，小波变换是设计好的不需要训练。

定义不变性：平移后没有变化。（傅立叶变换再取模是平移不变的）。

定义稳定性：稳定性只需要控制在一定范围内，并且这里的变形稳定指的是小规模变形。

小波变换：对变形稳定，但不具有平移不变。

所谓散射变换就是不断和新的小波进行卷积，并且卷积一个低通滤波器来求平均。取平均为局部平均，具有一定的分辨能力。

用多层散射小波变换才能区分数据，一般用两层，层数太多会导致能量损失。