![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 96
Harry-L
做一天会翻身的咸鱼
展开
-
李宏毅《机器学习》笔记-3. Where does the error come from?
1. 误差的来源误差(error)= 偏差(bias) + 方差(variable)方差(variable):s2=1N∑n(xn−m)2s^{2}=\frac{1}{N} \sum_{n}\left(x^{n}-m\right)^{2}s2=N1∑n(xn−m)2一般来说,模型越复杂,方差越大偏差(bias):E[f∗]=f‾E\left[f^{*}\right]=\overli...原创 2019-05-17 20:20:58 · 170 阅读 · 0 评论 -
李宏毅《机器学习》笔记-2.Regression
1. 什么是Regression(回归)如果一个任务的输出(output)是一个数值(scalar),那么这种任务就是Regression(回归)。例如:股票指数预测;无人驾驶中输出方向盘角度;商品推荐中使用者购买商品的可能性等2. 线性回归案例:宝可梦cp值根据宝可梦当前cp值以及一些其他指标,预测进化后的cp值使用机器学习三板斧Step1. 设计模型(Model)假设进化后的...原创 2019-05-16 22:27:58 · 309 阅读 · 0 评论 -
李宏毅《机器学习》笔记-1.Introduction of Machine Learning
1. 什么是机器学习机器学习就是,针对给出的数据,寻找一个函数,给出合适的输出。例如:2. 机器学习的步骤正如将大象放进冰箱一样,机器学习步骤简化下来分三步:确定一个函数的集合(我们称之为model)定义评价函数:因为有很多个函数,我们需要定义出用什么方法评价函数的好坏,这也是我们通常所说的 loss function挑选最好的函数3. 机器学习的划分机器学习主要划分为以...原创 2019-05-13 21:52:43 · 199 阅读 · 0 评论 -
XGBoost 与 LightGBM 调参
一、安装xgboost:安装包路径:https://www.lfd.uci.edu/~gohlke/pythonlibs/#xgboost找到合适的包,使用pip安装如 pip install xgboost-0.81-cp27-cp27m-win_amd64.whllightgbm:可直接通过 pip install lightgbm 安装 二、介绍xgboost...原创 2018-11-23 17:22:43 · 515 阅读 · 0 评论 -
ML实操 - 贷款用户逾期情况分析-特征工程
目录任务描述特征工程1. 删除无用变量2. 特征类型划分数值型特征字符型特征日期/时间型特征特征合并3. 特征衍生4. 特征筛选性能评估参考More任务描述给定金融数据,预测贷款用户是否会逾期。(status是标签:0表示未逾期,1表示逾期。)Misson1 - 构建逻辑回归模型进行预测Misson2 - 构建SVM和决策树模型进行预...原创 2018-11-21 18:40:58 · 1975 阅读 · 1 评论 -
ML实操 - 贷款用户逾期情况分析
目录任务描述实现过程基本思路1. 数据集预览2. 数据预处理3. 特征工程4. 模型选择4.1 数据及划分及数据归一化4.2 LR4.3 SVM4.4 决策树4.5 Xgboost4.6 LightGBM5. 模型调参6. 性能评估7. 模型融合遇到的问题参考More任务描述给定金融数据,预测贷款用户是否会逾期。(...原创 2018-11-19 11:11:44 · 3070 阅读 · 1 评论 -
ML模型5:集成算法简介
集成算法1. Bagging随机森林2. Boosting2.1 Adaboost2.2 GBDT2.3 Xgboost3. Stacking集成学习在机器学习算法中具有较高的准去率,不足之处就是模型的训练过程可能比较复杂,效率不是很高。其核心思想就是如何训练处多个弱分类器以及如何将这些弱分类器进行组合。主要分类如下:Bagging:训练多个分类器取平均。如随机森林Boosting:从弱学习...原创 2018-11-16 18:01:58 · 578 阅读 · 0 评论 -
ML模型4:决策树
决策树1. 常见决策树1.1 ID31.2 C4.5针对连续特征改进针对信息增益的问题改进针对缺失值改进1.3 CART树特征选择方法连续特征处理剪枝2. 决策树总结2.1 优点2.2 缺点3. 应用实例3.1 sklearn 参数决策树是一种树形结构,其中每个内部节点表示一个属性上的测试,每个分支代表一个测试输出,每个叶节点代表一种类别。决策树是非常常用的分类方法,既可以用于分类,又可以用于回...原创 2018-11-16 17:36:20 · 555 阅读 · 0 评论 -
ML模型3:支持向量机SVM
支持向量机 SVM前言1. 线性可分支持向量机1.1 线性可分1.2 距离、支持向量与间隔1.3 最大间隔分类器1.4 求解支持向量机1.4.1 拉格朗日函数1.4.2 对偶问题1.4.3 KKT条件1.5 SMO算法2. 从简单到深入2.1 线性可分到线性不可分2.2 线性到非线性2.3 分类到回归3. SVM应用3.1 适用场景3.2 sklearn 参数3.3 示例Q&A前言 ...原创 2018-11-14 19:52:58 · 381 阅读 · 0 评论 -
ML模型2:逻辑回归
逻辑回归(Logistic回归)1. 实现分类2. 损失函数3. 极大似然估计4. 梯度下降求解5. 多分类问题softmax6. Sklearn示例Q&A一些回归算法可以用来处理分类问题,以及一些分类算法可以进行回归预测,逻辑回归就属于前者。逻辑回归一般通过估计一个概率值,来表示一个样本属于某一类的概率。假如一个样本属于某一类的概率大于50%,那么就判该样本属于这一类。优点:计算代价...原创 2018-10-23 18:52:09 · 329 阅读 · 0 评论 -
ML模型1:线性回归
文章目录1. 线性模型表示2. 最小二乘法3. 误差4. 最大似然估计5. 求解5.1 求解-正规方程法:5.2 求解-梯度下降6. 评估方法7. 广义线性模型回归在数学上来说是给定一个点集,就能够用一条曲线去拟合之。如果这个曲线是一条直线(超平面),那就被称为线性回归。若不是一条直线则称为非线性回归,常见有多项式回归、逻辑回归等。线性模型优劣:优点:结果易于理解,计算上不复杂;缺点:对非...原创 2018-10-23 10:51:29 · 1589 阅读 · 0 评论 -
李宏毅《机器学习》笔记-4. Gradient Descent
关于梯度下降的一下技巧1. 调整学习率若学习率太大,可能会错过最小值;若学习率太小,有可能收敛速度太慢。可变学习率为了让梯度下降可以收敛到最小值,一般来说学习率要跟随迭代次数变小。一种常见的做法是让 ηt=η/t+1\eta^{t}={\eta} / {\sqrt{t+1}}ηt=η/t+1AdagradAdagrad 是一种常用的可变学习率的做法,它还考虑了历史梯度均值。A...原创 2019-05-17 21:56:45 · 190 阅读 · 0 评论