![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 87
JJmaker
一点点地成长
展开
-
支持向量机
支持向量机系列之一:线性支持向量机一般情况下,训练样本外的测量数据应该分布在训练样本附近,丹玉训练样本的位置有一些误差。若要保证对未知的数据也能分类正确,最好让分类直线距离正负类点都有一定的距离,这样能让每个样本点附近的圆形区域都是安全的(以样本点为中心)。圆心区域越大,表示分类直线对测量数据的误差容忍性越高,越“安全”。目标就是找到这样一条最“”最健壮的线“”,距离数据点越远越好。 只要看...原创 2018-08-28 15:39:29 · 142 阅读 · 0 评论 -
GBDT
全称:Gradient Boosting Decision Tree,梯度提升决策树顾名思义,基学习器使用决策树,且只能是回归树,而不能是分类树 。因为回归树输出的是连续值,可以累加,而分类树计算的值无法累加,即累加没有意义。算法流程:对每一轮 m,当前决策树模型为 fm(x)f_m(x)fm(x) 。每一轮都对应着一个损失函数:L(y,fm(x))=L(y,fm(x)+Gm−1(x))L(...原创 2019-03-18 21:00:15 · 111 阅读 · 0 评论 -
smo 算法
smo 算法全称:序列最小最优化算法(sequential minimal optimization)已知 SVM 的目标函数为:minα12∑i=1N∑j=1NαiαjyiyjK(xi,xj)−∑i=1Nαis.t.∑i=1Nαiyi=00≤αi≤C,i=1,2,...,Nmin_{\alpha} \frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N\alpha_i\al...原创 2019-03-02 17:22:08 · 357 阅读 · 0 评论 -
决策树
决策树决策树是一种树形结构,每个叶节点代表一种类别。采用自顶向下的递归方法构建。基本思想是以信息熵为度量,构造一棵熵值下降最快的树。叶节点的熵值为0.。信息量设随机变量 x 的分布为 P(x),则定义 x 信息量为:I(x)=−log2P(x)I(x) = -\log_2P(x)I(x)=−log2P(x)x 和 y 同时发生的信息量为:I(x,y)=I(x)+I(y)I(x, y) ...原创 2018-12-23 21:14:27 · 239 阅读 · 0 评论 -
朴素贝叶斯算法
朴素贝叶斯算法令 x=(x1,x2,…,xd)x = (x_1, x_2, \dots, x_d)x=(x1,x2,…,xd) 为 d 维属性向量,C=(c1,c2,…,ck)C = (c_1, c_2, \dots,c_k)C=(c1,c2,…,ck),cic_ici代表第 i 个类,则贝叶斯公式为:P(ci∣x)=P(x∣ci)P(ci)/P(X)P(c_i|x) = P(x...原创 2018-12-16 16:36:39 · 162 阅读 · 0 评论 -
线性回归
线性回归线性回归的预测模型为Y=WTXY=WTXY = W^TX 注:w=(w,b),xn=(1,xn)w=(w,b),xn=(1,xn)w=(w,b),x_n=(1,x_n) 目的:找到使训练误差EinEinE_{in}最小的wEin=1N∑Nn=1(yn−wTxn)2=1N∑Nn=1(xTnw−yn)2Ein=1N∑n=1N(yn−wTxn)2=1N∑n=1N(xnTw−yn)2E...原创 2018-08-21 15:37:53 · 84 阅读 · 0 评论 -
软间隔支持向量机
软间隔支持向量机SVM可能会造成overfit,因为kernel可能很复杂,而且必须将所有的样本都分类正确,造成模型过于复杂 那么如何避免过拟合? 方法是允许有分类错误的点,即把某些点当做是noise,但是尽量让zhexienoise个数越少越好hard-margin SVM: min(b,w)12wTws.t. yn(wTzn+b)≥1 for al...原创 2018-08-30 17:03:12 · 261 阅读 · 0 评论 -
逻辑回归(Logistic Regression)
逻辑回归(Logistic Regression)这是一个软性二分类问题:关心的是目标函数的值(分布在[0,1]之间),表示正类的概率是多少。值越接近于1,表示正类的可能性越大。目标函数:f(x)=P(+1|x)∈[0,1]⇔P(y|x)={f(x),fory=+11−f(x),fory=−1f(x)=P(+1|x)∈[0,1]⇔P(y|x)={1−f(x),fory=−1f(x),for...原创 2018-08-23 15:53:40 · 1227 阅读 · 0 评论 -
一些简单的聚类算法
算法流程如下:随机选取 k 个 中心点:c1,c2, ……ck;对每一个样本,计算与每个中心点之间的距离,取最小的作为它的归类;重新计算每个类的中心点如果每个中心点变化很小,则算法收敛,退出;否则迭代1-3...原创 2019-08-07 19:56:28 · 1115 阅读 · 0 评论