- 博客(11)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 机器学习笔记 - 线性分割对偶问题
划分超平面的模型如下: f(x)=wT+bf(x) = w^T + b 其中ww和bb是模型参数. 确定模型参数的优化目标为: minw,b12||w||2,s.t.yi(wTxi+b)≥1,i=1,2,...,mmin_{w,b} \frac{1}{2}||w||^2, s.t. y_i(w^Tx_i+b)\ge1, i=1, 2, ... , m 使用拉格朗日乘子法可得其
2017-02-26 14:42:40
1076
原创 机器学习笔记 - 线性可分问题
给定训练样本集 D={(x1,y1),(x2,y2),...,(xm,ym)},y∈{−1,1}D=\{(x_1, y_1), (x_2, y_2), ... , (x_m, y_m)\}, y \in \{-1, 1\}, 分类学习最基本的想法就是在样本空间DD找一个划分超平面, 将不同类型的样本分开, 如下图所示. 在样本空间中, 划分超平面可以用线性方程来描述: wTx+b=0w^
2017-02-25 16:47:33
3523
原创 机器学习笔记 - 剪枝处理
剪枝处理(pruning)是决策树学习算法中对付“过拟合”的主要手段, 在决策树学习中， 为了尽可能正确分类训练样本， 节点划分过程不断重复， 有时候会造成决策树分支过多， 以至于将训练样本集自身特点当作泛化特点， 而导致过拟合。 因此可以采用剪枝处理来去掉一些分支来降低过拟合的风险。 剪枝的基本策略有预剪枝(prepruning)和后剪枝(postprunint). 预剪枝是指在决策树生成
2017-02-20 21:18:44
3395
原创 机器学习笔记 - 决策树最优划分属性选择
由决策树算法可知, 其关键点在于如何选择最优划分属性, 一般而言, 随着划分过程不断进行, 我们希望形成纯度高的分支节点和叶结点. 信息增益信息熵可以用来衡量样本集合纯度. 假定 样本集合DD, 其中第kk类样本所占比例为pk(k=1,2,...,γ)p_k(k=1, 2, ... , \gamma), 则D的熵为 Ent(D)=−∑k=1γpklog2pkEnt(D) = -\sum
2017-02-15 21:52:21
11544
转载 Neural networks and Deep Learning Guide
转一个链接http://neuralnetworksanddeeplearning.com/
2017-02-14 16:26:46
368
原创 机器学习笔记 - 决策树基本算法
顾名思义, 决策树是基于树结构来进行决策的, 这也是人类面临决策问题时的一种很自然的处理机制. 比如, 我们对”这是好瓜吗?”这个问题进行决策时, 通常会进行一系列的判断, 先看它是什么颜色, 如果是青绿色, 再看它的根蒂是什么形态, 如果是蜷缩, 再看它敲起来是什么声音, 最终我们得到判断, 这是个好瓜。 决策树的形态大致如下图所示 基本算法: 输入: 训练集 D={(x
2017-02-13 21:39:41
939
原创 机器学习笔记 - Logistic Regression
线性回归的模型为 z=wTx+bz = w^Tx + b 考虑二分法任务， 其输出标记y∈{0,1}y \in \{ 0, 1 \}, 于是需将实值zz转为0/10/1, 这里用了Sigmoid 函数 y=11−e−zy = \frac{1}{1-e^{-z}} 则 y=11−e−(wTx+b)y=\frac{1}{1-e^{-(w^Tx+b)}} 上式可以
2017-02-12 14:54:12
442
原创 机器学习笔记 - 线性模型与线形回归
给定由dd个属性描述的样本x=(x1,x2,...,xd)x=(x_1, x_2, ... , x_d), 线性模型(linear model)试图学习一个通过属性的线性组合来预测的函数, 即 f(x)=w1x1+w2x2+...+wdxd+bf(x) = w_1x_1 + w_2x_2 + ... + w_dx_d + b 一般用向量形式写成 f(x)=wTx+bf(x) = w^Tx +
2017-02-08 22:31:52
856
原创 机器学习笔记 - 性能度量
在预测任务中, 给定样本集 D={(x1,y1),(x2,y2),...,(xm,ym)}D = \{ (x_1, y_1), (x_2, y_2), ... , (x_m, y_m)\} , 其中yiy_i是样本xix_i的真实标记, 要评估学习器的性能, 就要把学习预测结果f(x)f(x)跟真实的标记进行比较。 回归任务常用均方误差(mean squared error) E(f;D)=1m
2017-02-06 21:42:19
501
原创 机器学习笔记 - 评估方法
数据集 DD = {(x1,y1),(x2,y2),...,(xm,ym)}\{ (x_1, y_1), (x_2, y_2), ... , (x_m, y_m) \}, 一共mm个样本. 可以对DD 进行适当处理, 从中产生训练集SS和测试集TT. 下面介绍几种常见的做法.Hold Out将数据集 DD 划分为两个互斥的集合， 其中一个作为训练集SS, 另一个作为测试集T, 即 D=S∪TD=
2017-02-05 11:10:14
445
转载 MathJax basic tutorial and quick reference
To see how any formula was written in any question or answer, including this one, right-click on the expression it and choose "Show Math As > TeX Commands". (When you do this, the '$' will not display
2017-02-05 09:15:13
605
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人