qq_53453329的博客

1、经典的二分类算法，也可以多分类2、可用于非线性的3、虽然叫回归，但是解决的是分类问题，因为输入时线性的，输出是非线性的。

1、定义：ε：误差是独立分布的，服从均值为0，方差为θ^2的高斯分布两个式子结合就是最终所求：求解θ的极值点，用似然函数1、似然函数2、转换成log形式（极值点木有变）乘法转变成加法，更易求解求其最大值，因为是负的，所以求代价函数的最小值3、求阶得到代价函数怎样求解得到极小值呢？两种方法。

1、无监督性问题分类：有监督聚类：无监督，能用分类，不用聚类2、分为多少簇，超参数K质心：向量各维取平均即可。

直接将各种分类器堆叠，并且分阶段训练，下一次训练直接使用上一次训练的结果==>类似于刷分。如果上一次数据分类错误，那么下一次就要给予更大的权重。集成算法：为了让效果更好，用多个算法集合起来使用。随机具有二重性：1、数据采集随机2、特征选择随机。优点：1、能够处理多维度的数据，不用做特征选择。2、训练完成后，可以得到那些特征比较重要。会根据前一次的分类效果调整数据的权重。减弱：（类似于电压）是并行减弱的。特征选择随机，多个决策树并行完成。3、容易做成并行化方法，速度较快。4、可以进行可视化展示，便于分析。

1、根节点：第一个选择点，只有出，木有入2、非叶子节点与分支：中间过程，有进有出3、叶子节点：最终决策结果，只有入木有出1、表示随机变量不确定性的度量==>混乱程度2、不确定性越大，赏越大3、信息增益：表示特征X使Y的不确定性减少的程度原熵值为x,选择某一特征后熵值成为了y,信息增益为x-y信息增益越大越好。

解决的问题：怎样的决策边界最好决策边界：Large Margin ：使两种分开距离最远的地方红色的就是决策边界，两个红点是距决策边界最近的点考虑到数据中有一些噪声点，要放宽一下约束条件，引入了松弛因子：ξ以及超参数C。

正常思路：一个不透明的盒子中，黑球N个，白球M个==>取到黑球的概率，取到白球的概率。P(Boy),P(Girl),P(Pants),P(Dress)是可以直接得到的。逆向思路：已知取到黑球的概率、白球的概率==>白球的个数，黑球的个数。D:表示一篇邮件，由N个单词组成，h+表示垃圾邮件，h-表示正常邮件。学校的人数U，男生穿长裤，女生穿长裤或裙子==>穿长裤的女生的概率。P(h+|D),P(h-|D)对比大小，判断时正常还是垃圾。,dN|h+)链式求解。3、当所求的条件概率较难时，转换成条件概率。

数据–ScanD----->C1（所有的1项集）-----------计算support>阙值的保留------>L1(满足阙值的1项集)L1-----ScanD----->C2(所有满足条件的2项集)—计算support>阙值的保留------>L2。在购买计算机的顾客中，有30%的顾客同时购买了打印店，那么打印机和计算机之间有一定关联。因为，其余不满足的就是非频繁的超集了，算出support也不满足阙值，就简便运算啦。（反应了购买了项目集X中的商品的顾客同时也购买了Y中商品的可能性有多大）

1、当前的状态只和前一状态有关：P（Zt | Zt-1，Xt-1，Zt-2，Xt-2，…,Z1,X1）=P(Zt | Zt-1)2、某个观测只和生成它的状态有关：P (Xt | Zt)列轴：在t-1时刻的前提下，t时刻选择不同盒子的概率。隐藏状态集合：Q={盒子1，盒子2，盒子3}，N=3。A:行轴：t-1时刻选择每个盒子的概率。B：选择了某个盒子，取到某个球的概率。观测状态集合：V={红，白}，M=2。π：初始状态下，选择每个盒子的概率。得到的观测序列：O={红，白，红}

条件2：选取了方差大的一维，第二维的选择会在第一维选择附近（只有这个方向，方差最大==>坐标应是线性无关（正交的）==>协方差=0。==>根据特征值的从大到小，将特征向量从上到下排列，则用前K行组成的矩阵乘以原始数据矩阵X，就得到了我们需要的降维后的数据矩阵Y。将一组N维向量降维到K维（N>K>0）,目标选择K个单位正交基，是的将原始数据通过内积转换到这组正交基上，条件2个。条件1：这是一个分类问题==>将数据分割开==>投影值要尽可能分散==>方差要大。新向量基，，，，原坐标，新坐标。

投影到维度更低的空间中，使得投影后的点会形成按类别一簇一簇的情况，相同类别的点将在投影后的空间更接近。能够最大化类间区分度的坐标轴成分，将特征空间投影到一个维度更小的k维子空间中，同时保持区分类别信息。令分母的长度为1，进行归一化，那么式子就变成了：J（ω）=2、将class label中的名称进行数据预处理。选取特征值较大的特征向量，进行组合，内积实现降维。1、s:散列值：样本点的密集程度值越大，越分散。J（ω）中上下是可以放缩的，所有要进行限制一下。数据预处理中进行降维，实现有监督的降维问题；