【学习笔记】文生图模型——二、小基础

1.有监督学习：使用带人工标注的训练样本（这一part得看感知机、支持向量机（SVM），看完删除这句）

  无监督学习：在没有标注的数据中发现隐藏的结构或模式

  半监督学习：使用少量标注的数据

2.特征选择：图像的特征编码可以为（高，宽，通道数）。文本的特征编码为One-Hot，使用词嵌入压缩（如word2vec按向量距离）。

3.数据降维方法：先特征归一化再进行主成分分析，无监督，通过奇异值分解，选方差最大的奇异值关联的向量。

4.评估模型好坏的方法：准确率、精度、召回率F值，宏平均和微平均数值

5. 用激活函数处理输入信号，当输出的信号量到一定程度会激活神经元。PReLU激活函数的参数是可以随着w和b在训练中一起更新的。

6.大脑在同一时刻只有1%到4%的神经元处于激活状态，而ReLU在同一时刻有50%的神经元处于激活状态

7.前向传播：输入x输出预测y，计算y与真实y的损失。

  反向传播：用损失函数计算每一层的梯度，通过梯度下降法从输出层开始反向更新参数。

  超参数：运行前人为确定的参数，不可被学习和更改。

8.网络结构按拓扑分为前馈神经网络、反馈神经网络、图神经网络，中间层称为隐层。

9.全连接网络：前一层神经元与所有后一层神经元连接。

10.启发式规则是一种基于直观或经验构造的问题解决技术

11.假设第i-1层有n个神经元，第i层有m个神经元，那么第i层的权重W是m×n的矩阵，Wjk代表第i-1层第k个神经元与第i层第j个神经元连接的权重。偏置和激活量为1×m的向量，激活量向量也称为的i层的特征向量。

12.前向传播里，第i层每个神经元用权重矩阵计算来自上一层的输入量并相加，然后把总和放到激活函数里计算得到激活量，最后将激活量与阈值做比较，判断神经元是否激活和往下传播。

13.万用近似定理：给定足够神经元可以逼近任意一个连续函数。

14.输出变量为离散变量的用于分类任务，连续变量的用于回归任务。