![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
算法
文章平均质量分 52
TheOneAc1
初级炼丹师
展开
-
回归
岭回归基本概念在进行特征选择时,一般有三种方式:1. 子集选择 2. 收缩方式(Shrinkage method),又称为正则化(Regularization)。主 要包括岭回归和lasso回归。 3. 维数缩减 岭回归(Ridge Regression)是在平方误差的基础上增加正则项 通过确定的值可以使得在方差和偏差之间达到平衡:随着的增大,模型方差减小而偏差增大。原创 2017-08-08 08:57:00 · 297 阅读 · 0 评论 -
如何选择机器学习算法
这篇文章适用于初级和中级数据科学工程师以及对区分和应用机器学习算法解决他们感兴趣的问题的的数据分析工程师初学者常见的典型问题就是面对种类繁多的机器学习算法,该如何选择使用,答案由很多因素决定,包括:- 数据量,数据质量,数据特征- 可得计算时间- 任务紧急程度- 目标操作在未尝试不同的算法之前,即便是很有经验的数据科学家也很难确定哪个算法性能更好,我们无法在确定一个一以贯之原创 2017-08-09 22:17:49 · 285 阅读 · 0 评论 -
机器学习基石系列一
问题解析规范化机器学习定义感知机:线性加权分类 类比常见的加权平均和线性组合形成分类门限值PLA:基于实例的学习,错误反馈纠正 每次迭代选择误分类样本更新权值,直到便利样本未发现误分类点线性可分结果收敛(单步优化,且存在上限,迭代优化次数也就有限)POCKET算法 随机样本点优化,收敛速度慢于PLA - 存在噪声数据时,对PLA的一种近似,通过足够多次随机迭代逼近特征函数原创 2017-08-19 02:00:57 · 268 阅读 · 0 评论 -
机器学习基石系列五
线性回归平方误差梯度 矩阵求导线性回归解 求解方式PCA,SVD取决于X矩阵性质,特征值等误差逼近 n足够大时,Ein与Eout的逼近保证了线性可学习逻辑回归sigmoid函数三种线性模型比较逻辑回归优化方向梯度下降迭代优化随机梯度下降回归用于多分类OVA:每次分出一类OVO:每次区别两类,使用选举算法选择最终分类,避免不平衡原创 2017-08-19 18:51:53 · 337 阅读 · 0 评论 -
机器学习技法系列一
线性SVM 最大间隔:所有训练样例距离分界超平面的距离取最小值,最大化最小值即可获得最胖分界面支持向量条件max margin :边界最大化yn(wx+b)>0 同号同侧,表明分类正确(硬间隔)margin边界取全部样本距离最小值 转化最优,另min (y(wx+b))= 1,,边界最大化转化为max(1/w),同时可转化为min(w*w/2) 限制转为无限制 存在1-y(wx+b)原创 2017-08-19 23:30:19 · 399 阅读 · 0 评论