m0_53694086的博客

神经网络中有一类模型是为网络状态定义一个“能量”，能量最小化时网络达到理想状态，而网络的训练就是在最小化这个能量函数Boltzmann机就是一种“基于能量的模型”，常见结构如图5.14(a)所示，其神经元分为两层:显层与隐层．显层用于表示数据的输入与输出,隐层则被理解为数据的内在表达. Boltzmann机中的神经元都是布尔型的,即只能取0、1两种状态，状态1表示激活,状态0表示抑制.令向量。策略，在使用该策略时，网络的输出神经元相互竞争，每一时刻仅有一个竞争获胜的神经元被激活，其他神经元的状态被抑制。

机器学习第4章——决策树4.决策树4.1 基本流程4.2划分选择4.2.1信息增益4.2.3 基尼指数4.3 剪枝处理4.4 连续与缺失值4.4.1 连续值处理4.4.2缺失值处理4.5 多变量决策树4.决策树决策树基于“树”结构进行决策每个“内部结点”对应于某个属性上的“测试”(test)每个分支对应于该测试的一种可能结果（即该属性的某个取值）每个“叶结点”对应于一个“预测结果”学习过程:通过对训练样本的分析来确定“划分属性”（即内部结点所对应的属性)预测过程:将测试示例从根结点开始

我们要求L足够一般，以至可以从C中学到任何目标概念而不管训练样例的分布如何，因此，我们会对C中所有可能的目标概念和所有可能的实例分布D进行最差情况的分析。上面的界限可能是过高的估计，主要来源于|H|项，它产生于证明过程中在所有可能假设上计算那些不可接受的假设的概率和。但是，即使不知道确切的目标概念或训练样例抽取的分布，一种概率方法可在给定数目的训练样例之后界定变型空间为。我们通过h在从X中抽取的新实例上的性能来评估L是否成功。定义C的G-合成:网络G能实现的所有函数的类，即网络G表示的假设空间，表示成。

过滤式和包裹式的特征选择过程与学习器训练过程有明显的分别，而嵌入式将特征选择过程与学习器训练过程融为一体，两者在同一个优化过程中完成，在学习器训练过程中自动地进行特征选择。压缩感知引起了信号采样及相应重构方式的本质性变化，即:数据的采样和压缩是以低速率同步进行的，这对于降低信息的采样成本和资源都具有重要意又。如果按一般的思想，遍历特征的所有可能子集，会在计算上遭遇组合爆炸，所以可行的方法是子集搜索和子集评价。和猜错近邻上的距离，则说明该特征对区分同类和不同类的最近邻是有益的，则增加该特征的权重;

机器学习第10章——降维与度量学习10.降维与度量学习10.1 k近邻学习10.2 低维嵌入(MDS)10.3 主成分分析(PCA)最近重构性最大可分性PCA算法描述10.5 流形学习10.5.1 等度量映射(Isomap)10.5.2 局部线性嵌入(LLE)10.6 度量学习主要相似度算法欧氏距离标准欧式距离加权欧式距离曼哈顿距离闵可夫斯基距离马氏距离汉明距离杰卡德相似系数和杰卡德距离余弦相似度调整余弦相似度皮尔森相似度斯皮尔曼相关性近邻成分分析(NCA)10.7 PCA算法实现10.降维与度量学习1

如果是回归算法，T个弱学习器得到的回归结果进行算术平均得到的值为最终的模型输出。如果是回归算法，T个弱学习器得到的回归结果进行算术平均得到的值为最终的模型输出。训练决策树模型的节点时，在节点上所有的样本特征中选择一部分样本特征，在这些随机选择的部分样本特征中选择一个最优的特征来做决策树的左右子树划分。在概率近似正确(PAC)学习的框架中，一个概念（一个类），如果存在一个多项式的学习算法能够学习它，对于一个样本，它在某一次含m个样本的训练集的随机采样中，每次被采集到的概率是。

就需要将样本从原始空间映射到一个更高维的特征空间,使样本在这个特征空间内线性可分。将训练样本分开的超平面可能有很多，哪一个更好呢？凸二次规划问题，能用优化计算包求解，但可以有更高效的办法。，那么一定存在一个高维特征空间使样本线性可分。为提高鲁棒性，通常使用支持向量求解的平均值。若不存在一个能正确划分两类样本的超平面，表示空间中h的范数，对于任意单调递增函数。为核函数k对应的再生核希尔伯特空间。第一步：选取一对需更新的变量。以外的参数，求解对偶问题更新。设样本x映射后的向量为。间隔带的样本不计算损失。

机器学习第7章——贝叶斯分类器7.贝叶斯分类器7.1贝叶斯决策论7.2 朴素贝叶斯分类器条件概率的m估计7.3 极大似然估计优点基本原理7.4 贝叶斯网络7.5 半朴素贝叶斯分类器7.6 EM算法7.7 EM算法实现7.贝叶斯分类器7.1贝叶斯决策论一个医疗判断问题有两个可选的假设：病人有癌症；病人无癌症可用数据来自化验结果：正+和负-有先验知识在所有人口中，患病率是0.008对确实有病的患者的化验准确率是0.98对确实无病的患者的化验准确率是0.97、总结如下

机器学习第9章——聚类9.聚类9.1 聚类任务9.2 性能度量9.3 距离计算9.4 原型聚类9.4.1 k均值算法9.4.2 学习向量量化(LVQ)9.4.3 高斯混合聚类9.5 密度聚类DBSCAN算法9.6 层次聚类9.7 kmeans手动算法实现9.8 kmeans算法运用9.聚类9.1 聚类任务在“无监督学习”任务中研究最多、应用最广.聚类目标：将数据集中的样本划分为若干个通常不相交的子集（“簇”，cluster）聚类既可以作为一个单独过程（用于找寻数据内在的分布结构)，也可

机器学习第十四章——.概率图模型14.概率图模型14.1 隐马尔可夫模型（HMM）14.2 马尔可夫随机场（MRF）马尔可夫随机场中的分离集势函数14.3 条件随机场（CRF）14.4 学习与推断14.4.1 变量消去14.4.2 信念传播14.5 近似推断14.5.1 MCMC采样14.5.2 变分推断14.6 话题模型14.概率图模型机器学习最重要的任务是根据已观察到的证据（例如训练样本）对感兴趣的未知变量（例如类别标记）进行估计和推测。概率模型提供了一种描述框架，将描述任务归结为计算变量

​ 利用经验改善系统自身的性能​ 随着该领域的发展，目前主要研究智能数据分析的理论和方法，并已成为智能数据分析技术的源泉之一。

机器学习第三章——线性模型3.线性模型3.1基本形式3.2线性回归3.3 对数几率回归3.4 线性判断分析(LDA)3.5 多分类学习3.6 类别不平衡问题3.线性模型3.1基本形式线性模型试图学得一个通过属性的线性组合来进行预测的函数f(x)=w1x1+w2x2+...+wdxd+bf(x)=w_1x_1+w_2x_2+...+w_dx_d+bf(x)=w1​x1​+w2​x2​+...+wd​xd​+b向量形式：f(x)=wTx+bx=(x1,x2,...,xd)T向量形式：f(x)=

假设第一个预测值为0.8，即该样本有0.8的概率是正例，现在我们假设该样本确实为正例，那么可得到下表，此时的真正例率为1/10，所以该点需要在原来坐标的基础上向上平移1/10，即得到坐标（1/10，0）当ROC图会经过点(1，0)时，即所有真正例都排在所有真反例前，为理想模型。假设第二个预测值为0.7，即该样本有0.7的概率是正例，现在我们假设该样本为反例，也就是预测结果发生了错误，那么可得到下表，此时的假正例率为1/10，所以该点需要在原来坐标的基础上向右平移1/10，即得到坐标（1/10，1/10）