xyq1212的博客

1.基本概念机器学习：构建不需要显式编程的机器，为实现任务T，通过训练E，逐步提高表现P的一个过程，强调学习。深度学习：一种机器学习的技术，一种基于对数据进行表征学习的算法，用非监督式或半监督式的特征学习和分层特征提取的高效算法来代替手工获取特征。强化学习：一种机器学习的技术，强调如何基于环境而行动，以获取最大化的预期利益，依靠自身的经历进行自我学习。2.机器学习分类监督学习：预测数值型数据的回归、预测分类标签的分类、预测顺序的排序等等任务无监督学习：聚类、异常检测、数据可视化.

1.最小二乘法最小二乘法也叫做损失最小化学习法，适用于较小规模数据的学习，有过拟合的弱点。梯度下降法是适用于大规模数据学习的算法，该方法的收敛速度依赖于梯度下降的步幅及收敛结果的判断方法。2.带有约束条件的最小二乘法原因：当参数较多时，求解参数及学习得到的函数的输出值的过程耗费大量的时间优点：省时、防止过拟合（1）部分空间约束的最小二乘法只使用参数空间的一部分，保证参数θ不偏移到值域R(P)范围之外，通过正交投影矩阵P实现约束。如果使用主成分分析法求解该部分空间，则该方.

1.二分类问题分类问题的损失函数0/1损失1/2(1-m)，分类错误损失为1，分类正确损失为0。缺点是不连续，无法确定最优解，因此提出以下几种0/1损失的代理损失。0/1损失的代理损失损失：即最小二乘法分类，=Hinge损失：即支持向量机分类器指数损失：Boosting分类器Logistic损失：逻辑回归Ramp损失：用于进行鲁棒学习最小二乘法分类原理：将分类问题看成函数的近似问题，再用最小二乘法求解即可，函数输出为{+1,0,-1}线性判别分析算法

1.间隔最大化分类分离超平面：，使用分离超平面将正负样本分割开，即求解为正的w,r将经过缩放变形为，这样更容易处理最优解可以最充分的分离正负样本的解，即，如下图：最优解对应的分类器即硬间隔支持向量机分类器2.用于线性模型的支持向量机分类器硬间隔&软间隔硬间隔支持向量机分类器：适用于样本线性可分的情况软间隔支持向量机分类器：适用于样本线性不可分的情况，即允许一定的误差硬间隔支持向量机分类器目标函数，约束条件目标函数为二次函数，约束条件为线性函数，目标

集成学习：把性能较低的多种弱学习器，通过适当组合而形成高性能强学习器的方法。1.剪枝分类器剪枝分类器是一种非常简单的分类器，分类效果较差，但是计算成本低，在集成学习中使用效果很好。方法：任意选择输入变量中的一维，与给定阈值比较进行分类。n个样本可以得到n-1个候选解，计算相邻两个训练样本在分类时的误差，将误差最小的候选解作为分类边界。2.Bagging学习法原理：对多个弱学习器独立进行学习样本选择：从n个训练样本中随机选取n个，允许重复，生成与原始样本有些许差异的样本集学习过程：

原理：对与模式x所对应的类别y的后验概率p(y|x)进行学习，逻辑回归①使用线性对数函数对分类后验概率进行模型化，②通过对数似然函数为最大时的最大似然估计进行求解③反复迭代的概率梯度下降法求最小二乘概率分类&逻辑回归相同点：结果基本相同不同点： 逻辑回归 最小二乘概率分类 参数 1个模型，bc个参数 c个模型，各b个参数 求解方法 反复迭代，耗时 解析方式，更有效率 适用情况 样本数量n较小 样本数量n较大.

异常检测：由于没有与异常值相关的信息，因此实际上理想的异常检测很困难下面介绍几种异常检测方法：1.局部异常因子对偏离大部分数据的异常数据进行检测的方法。该方法是无监督的异常检测算法，依赖于事先制定的规则（k值）。计算过程：的可达距离：，其中是离第近的点，是自定义的一个值； 的局部可达密度：，其中是距的可达距离，密度值越高，的值越小，的值就越大； x的局部异常因子：，即局部可达密度的平均值除以的局部可达密度，该值越大，是异常值的可能就越大。2.支持向量机异常检测在无监督学习的异常

1.线性降维公式：，其中T是m×d维的投影矩阵2.主成分分析法尽可能地忠实再现原始数据的所有信息的降维方法基本原理：和尽可能相似 =>是的正投影 <=>(m×m的单位矩阵)T通过向训练输入样本的协方差矩阵C中较大的M个特征值所对应的特征向量张成的局部空间正投影得到的 不一定适用于簇构造 之间无关联且相互独立3.局部保持投影该方法可以保护数据中的簇构造。利用训练输入样本间的相似度信息，越相似值越大，相似度较高的样本对的投影也较为相似通过矩阵对中.

将训练输入样本基于相似度而进行分类的聚类方法1.K均值聚类只能处理线性可分的聚类问题 原则上，将簇标签分配到训练样本在，计算簇的分散情况，所有簇分散情况和最小的即最优解，但是这样计算时间会随n指数增长。 实际上，将样本逐个分配到距离其最近的聚类簇中，并重复迭代求局部最优解。2.核k均值聚类将核映射方法应用到k均值聚类中，得到非线性的簇分类结果 聚类结果强烈依赖初始值的选取，尤其是在特征空间维度较高时，在实际中难以应用3.谱聚类过程：核映射特征空间 在特征空间应用局部保持投影法

1.在线学习逐次学习算法：将训练样本逐个输入到学习算法中，新数据进来时对现有的结果进行更新 当n非常大时，对于有限内存的利用和管理很有效2.被动攻击学习合理选择损失函数，通过求最优解析解得到最优解；引入惩罚系数，表示偏离现在的解的幅度，用于适当调整梯度下降量优点：方便简单 缺点：激进学习，参数值变动大被动攻击分类损失函数：二乘Hinge损失或Hinge损失 使用拉格朗日对偶函数求最优解析解被动攻击回归损失函数：损失或者损失 使用拉格朗日对偶函数求最优解析解3.适应正则化学

机器学习从已知数据中获得规律，并利用规律对未知数据进行预测的方法； 一种统计学习方法，需要大量的数据进行学习，主要分为有监督学习、无监督学习和强化学习三大类。深度学习一种机器学习方法，根据输入数据进行分类或递归； 具有多层结构的网络，对网络的层数和生成方法没有要求； 设计初衷是模仿人脑机制获取机制； 通过学习大量数据自动确定要提取的特征信息。深度学习分类人工智能模型有监督模型，起源于感知器； 感知器+多层结构→深度神经网络+卷积层→卷积神经网络。图模型无监督模型； 受限玻尔

1.神经网络的历史第一阶段(1940-1970)1943年，形式神经元模型的产生（M-P模型）； 1958年，感知器的提出（经过训练确定神经元的连接权重）； 1969年，提出感知器无法解决线性不可分问题。第二阶段（1980-1990）1980年，神经认知机的提出； 1982年，Hopfield模型的提出； 1986年，误差反向传播算法的提出（利用多层感知器解决线性不可分问题）； 1989年，卷积神经网络的提出。2.M-P模型假设有三个参数，相应的M-P模型如下： 其中

1.神经认知机模型由负责对比度提取的G层，负责图形特征提取的S细胞层和抗变形的C细胞层交替排列组成。经过交替排列，反复迭代，底层提取的局部特征会逐渐变成全局特征； 因输入模式变化引起的畸变可以很好地被C细胞消除，对变形有较好的稳健性。2.卷积神经网络CNN基于人类视觉皮层感受野的结构得到的模型，由输入层、卷积层、池化层、全连接层、输出层组成，接下来分别具体介绍不同层。卷积的本质：如果全部都是全连接层，参数太多，无法调整，无法实现，因此改用卷积核，共享参数，减少参数量。卷积层由输入

1.自编码器基本原理概念一种基于无监督学习的数据维度压缩和特征表达方法； 通过不断调整参数，重构经过维度压缩的输入样本，重构结果和输入样本的模式相同，重构结果的图像相对模糊。应用构建一种能够重构输入样本并进行特征表达的神经网络； 训练多层神经网络时，对样本训练得到参数初始值，当神经网络层数较多时，会面临梯度消失的问题，可以通过自编码器逐层训练参数并计算参数初始值。原理编码器： 解码器： 自编码器的本质是确定参数的过程，根据计算 使用误差反向传播算法调整参数值 编码器和解码

1.训练样本数据增强方法：通过对样本图像平移、旋转或镜像翻转，增加样本数量； 优点：使有限的数据得到最大程度的有效利用。使用大规模数据集ImageNet：基于WorldNet，按层级图像分类，动物植物食物等，末梢节点包含多张对应图像； Place：在SVNDatabase基础上的扩展，包括多种场景，室内、室外、交通工具、建筑物等。其它设置图像中间区域为感兴趣区域，可以防止变换后的样本偏离图像区域； 对样本会产生形状变化的情况，如手写字符识别，先变形再数据增强，可以使用弹性变换算法，

1.物体识别深度学习之前：尺度不变特征变换方法和支持向量机等机器学习方法组合应用； 2012年：多伦多大学研究团队提出CNN、ReLU、DropOut的使用，可以自动捕捉到多个方向的边缘和颜色渐变、网纹图案等； 2013年：反卷积网络的提出，可以恢复卷积结果，直观确认训练后网络的好坏； 2014年：深度神经网络的提出，22层的GoogleNet和19层的VGG。2.物体检测确定图像中物体的位置的方法。分类：事先限定检测对象：人脸检测、行人检测； 非类别限定对于非类别限定的物体检测

1.线性回归如果只有一个输入属性x，则，使用最小二乘法求解模型最优解即可。如果有多个输入属性，，当X时满秩矩阵或者正定矩阵矩阵时，有解析解.对数线性回归：，形式线性回归，是输入空间到输出空间的非线性映射2.对数几率回归——分类任务对数几率函数：用极大似然法估计w和b的值3.线性判别分析LDA给定训练样例集，将样例投影到一条直线上，使同类样例投影点尽可能靠近，异类样例投影点尽可能远离。用拉格朗日对偶问题求解，具体过程不再赘述当两类数据同先验、满足高斯分布

强化学习：自动进行决策并且可以做连续决策，包括agent、状态、行动、奖励四部分，目标是获得最多的累计奖励强化学习的反馈有延时，可能要走很多步才知道某步的选择是好是坏 强化学习面对的输入总是在变化，每次做出的行为都会影响下次决策的输入 在exploration（尝试不同的）和exploitation（尝试最有效的）之间做权衡学习方法基于值函数的学习方法原理：求解最优策略等价于求解最优的值函数值函数选取策略更新的方式：贪婪策略：确定性策略，对已知知识的利用 策略：探索+利用，有利于