算法梳理
文章平均质量分 96
Harry-L
做一天会翻身的咸鱼
展开
-
ML模型2:逻辑回归
逻辑回归(Logistic回归)1. 实现分类2. 损失函数3. 极大似然估计4. 梯度下降求解5. 多分类问题softmax6. Sklearn示例Q&A 一些回归算法可以用来处理分类问题,以及一些分类算法可以进行回归预测,逻辑回归就属于前者。逻辑回归一般通过估计一个概率值,来表示一个样本属于某一类的概率。假如一个样本属于某一类的概率大于50%,那么就判该样本属于这一类。 优点:计算代价...原创 2018-10-23 18:52:09 · 319 阅读 · 0 评论 -
ML模型1:线性回归
文章目录1. 线性模型表示2. 最小二乘法3. 误差4. 最大似然估计5. 求解5.1 求解-正规方程法:5.2 求解-梯度下降6. 评估方法7. 广义线性模型 回归在数学上来说是给定一个点集,就能够用一条曲线去拟合之。如果这个曲线是一条直线(超平面),那就被称为线性回归。若不是一条直线则称为非线性回归,常见有多项式回归、逻辑回归等。 线性模型优劣: 优点:结果易于理解,计算上不复杂; 缺点:对非...原创 2018-10-23 10:51:29 · 1573 阅读 · 0 评论 -
ML模型3:支持向量机SVM
支持向量机 SVM前言1. 线性可分支持向量机1.1 线性可分1.2 距离、支持向量与间隔1.3 最大间隔分类器1.4 求解支持向量机1.4.1 拉格朗日函数1.4.2 对偶问题1.4.3 KKT条件1.5 SMO算法2. 从简单到深入2.1 线性可分到线性不可分2.2 线性到非线性2.3 分类到回归3. SVM应用3.1 适用场景3.2 sklearn 参数3.3 示例Q&A 前言 ...原创 2018-11-14 19:52:58 · 371 阅读 · 0 评论 -
ML模型4:决策树
决策树1. 常见决策树1.1 ID31.2 C4.5针对连续特征改进针对信息增益的问题改进针对缺失值改进1.3 CART树特征选择方法连续特征处理剪枝2. 决策树总结2.1 优点2.2 缺点3. 应用实例3.1 sklearn 参数 决策树是一种树形结构,其中每个内部节点表示一个属性上的测试,每个分支代表一个测试输出,每个叶节点代表一种类别。决策树是非常常用的分类方法,既可以用于分类,又可以用于回...原创 2018-11-16 17:36:20 · 542 阅读 · 0 评论 -
ML模型5:集成算法简介
集成算法1. Bagging随机森林2. Boosting2.1 Adaboost2.2 GBDT2.3 Xgboost3. Stacking 集成学习在机器学习算法中具有较高的准去率,不足之处就是模型的训练过程可能比较复杂,效率不是很高。其核心思想就是如何训练处多个弱分类器以及如何将这些弱分类器进行组合。主要分类如下: Bagging:训练多个分类器取平均。如随机森林 Boosting:从弱学习...原创 2018-11-16 18:01:58 · 567 阅读 · 0 评论