机器学习
文章平均质量分 57
离散梦
这个作者很懒,什么都没留下…
展开
-
线性模型和逻辑回归
作者:离散梦欢迎大家给出宝贵的建议! 线性模型和逻辑回归 一、前言 和以前一样,主要目的还是整理总结自己的思路。同时,初学者也可以看看我的思路,希望可以得到一定的启发。当然希望能给我提出点建议,或者问题,我愿意在学习过程中和大家交流。 二、正题 接下来进入正题,今天我要讲的是,线性模型和逻辑回归。我之所以想写这篇博客,是因为我从视...原创 2018-01-08 14:29:30 · 1024 阅读 · 0 评论 -
特征向量的缺失值处理
作者:离散梦欢迎大家给出宝贵的建议! 特征向量的缺失值处理 1.缺失值较多,直接将该特征舍弃掉,否则可能反倒会带入较大的noise,对结果造成影响。别人的经验:(1)数据量很小用贝叶斯,适中较大用xgboost,或神经网络。(2)避免使用距离度量相关的模型,如Knn和SVM,因为计算两点距离。所以缺失值比较重要,处理不当会导致效果很差。2.缺失...原创 2018-07-10 14:41:31 · 1750 阅读 · 0 评论 -
梯度下降法
作者:离散梦欢迎大家给出宝贵的建议! 梯度下降法 说说梯度下降法: 在这里称为参数,设x0=1,x1、x2为特征向量。由此推出: 损失函数: 求 梯度下降法的算法流程如下:(1)首先对赋值,这个值可以使随机的,也可以让是一个全零的向量。(2)改变的值,使得按梯度下降的方向进行减少。 公式过程:...原创 2018-07-10 12:30:33 · 700 阅读 · 0 评论 -
岭回归(ridge回归)、lasso回归、ElasticNet回归
作者:离散梦欢迎大家给出宝贵的建议! 岭回归(ridge回归)、lasso回归、ElasticNet回归 为了防止过拟合的现象出现,引入以上优化方法。(正则化) 岭回归就是引入L2正则化项lasso回归就是引入L1正则化项ElasticNet回归就是引入L1和L2正则化项(lasso和ridge回归组合)。公式: 岭回归器就是用普通...原创 2018-07-10 12:07:12 · 3446 阅读 · 0 评论 -
哪些机器学习算法不需要做归一化
作者:离散梦欢迎大家给出宝贵的建议! 哪些机器学习算法不需要做归一化 哪些机器学习算法不需要做归一化? 概率模型(树形模型)不需要归一化,因为它们不关心变量的值,而是关心变量的分布和变量之间的条件概率,如决策树、RF。而像Adaboost、SVM、LR、Knn、KMeans之类的最优化问题就需要归一化。 标准化:特征均值为0,方差为1公式...原创 2018-07-10 11:50:21 · 15990 阅读 · 6 评论 -
非平衡数据集的机器学习常用处理方法
作者:离散梦欢迎大家给出宝贵的建议! 非平衡数据集的机器学习常用处理方法 1.收集更多的数据 2.尝试改变性能评价标准:【当数据不平衡,准确度已经失去了它原有的意义】(1)混淆矩阵(2)精度(3)召回率(4)F1分数(权衡精度和召回率)(5)Kappa(衡量分类精度)(6)Roc曲线(曲线面积就是AUC) 3.重采样数据...原创 2018-07-09 19:33:47 · 2588 阅读 · 0 评论 -
交叉熵代价函数
作者:离散梦欢迎大家给出宝贵的建议! 交叉熵代价函数 前言: ,损失函数/代价函数 ,经验风险,模型f(x)关于训练数据集的平均损失称为经验风险或经验损失。 J(f),常用L1/L2,这个函数专门用来度量模型的复杂度。在机器学习中也叫正则化。 ,结构风险,J(f)为模型的复杂度,结构风险小需要经验风险与模型复杂度同时小。 结构风险最...原创 2018-07-09 16:17:30 · 485 阅读 · 0 评论 -
Overfitting怎么解决? L1和L2正则化介绍
作者:离散梦欢迎大家给出宝贵的建议! Overfitting怎么解决? L1和L2正则化介绍 Overfitting怎么解决?Regularizatin(L1、L2正则化)、dropout、Batch Normalization、Early Stopping L2正则化:(权重衰减惩罚) 对b没有更新,W有更新。【为学习率】 所以L2...原创 2018-07-09 12:55:53 · 598 阅读 · 0 评论 -
通俗易懂的泰坦尼克号生存分析(titanic)
作者:离散梦欢迎大家给出宝贵的建议! 泰坦尼克号数据分析 一、前言 主要目的是整理自己的思路。本文主要是关于泰坦尼克号生存率python分析,因为很多博客做这个项目都比较深入,感觉都比较高大上,我们初学者并不一定都能懂,甚至没兴趣看下去。这文章,也是从视频上学了之后,发现很不错,通俗易懂,非常推荐入门。我们可以共同学习。非常希望有人愿意指出我的不足。 ...原创 2017-12-29 15:59:24 · 23401 阅读 · 22 评论