Thinking in ML
文章平均质量分 95
Machine Learning 相关知识点整理
BlackStar_L
Keep Coding, Reading and Writing, for the Data Scientist
展开
-
机器学习从零到入门 逻辑回归详解
逻辑” 为英文单词“Logistic”的音译+简写,或完整叫“逻辑斯蒂”,但还有一种比较高级的叫法为“对数几率”或简称“对数”,即“对数回归”,从数学的角度看,这种叫法最为准确,因为中文“逻辑”与logistic和logit的含义相去甚远。从图中可以看出,该函数将y值转化成一个接近0或1的y值,函数的斜率随着靠近和远离0轴进行放大和缩小,函数“光滑”可导,并且其输出值在y=0附近变化很陡,以0为分界点,数据,比如已知某西瓜的质量有“好”和“坏”这两个种类,要对某样本西瓜质量进行预测,这种情况则称为。原创 2022-12-25 16:53:35 · 1523 阅读 · 4 评论 -
机器学习从零到入门 集成学习
集成学习,集成学习的具体步骤,集成方法:Bagging及相关模型:Bagging和Random Forest;Boosting及相关模型:Boosting、Adaboost、GBDT、机器学习神器:XGBoost,lightGBM,CatBoost原创 2022-10-31 18:11:53 · 890 阅读 · 0 评论 -
机器学习从零到入门 GBDT 梯度提升决策树
GBDT 详解一、 梯度的概念1、日常生活中的梯度2、函数中的梯度2.1、走进数学2.2、从数学到机器学习(1)、损失函数的理解 loss function(2)、梯度的理解 gradient(3)、梯度下降与损失函数二、GBDT1、回归树 - Regression Decision Tree,DT2、梯度提升 - Gradient Boosting - GB3、提升树 - Boosting Desicion Tree - BDT三、GBDT的应用1、GBDT的分类与回归2、GBDT+LR一、 梯度的概原创 2022-10-25 20:53:13 · 1011 阅读 · 2 评论 -
决策树结合可视化理解
决策树结合可视化理解决策树结合可视化理解参考修改时间决策树结合可视化理解在掌握了决策树原理的基础上,继续理解可视化决策树上数值的含义。若尚有不明,可参考往期文章:决策树详解 从零到入门直接入手一个例子,做出可视化视图:已知数据:工资(元/月)睡觉时间(小时/天)身高(cm)年龄(年)x1x_1x150007.516519x2x_2x250008.517021x3x_3x380007.517029x4x_4x48000原创 2022-01-28 06:14:30 · 2050 阅读 · 0 评论 -
线性回归详解 从零开始 从理论到实践
回归算法详解 从零开始 从理论到实践原创 2021-01-21 22:15:51 · 2847 阅读 · 0 评论 -
套索回归详解 从零开始 从理论到实践
套索回归详解 从零开始 从理论到实践一、套索回归的理解二、sklearn的使用2.1、方法、参数与属性2.2、简单案例一、套索回归的理解二、sklearn的使用2.1、方法、参数与属性2.2、简单案例原创 2021-01-21 22:14:31 · 6787 阅读 · 6 评论 -
岭回归详解 从零开始 从理论到实践
岭回归详解 从零开始 从理论到实践一、岭回归的理解1.1、LinearRegression的回顾1.2、岭回归 - Ridge Regression二、sklearn的使用2.1、方法、参数与属性2.2、简单案例2.3、超参数的设定方法 -RidgeCV2.4、多项式回归+岭回归案例一、岭回归的理解1.1、LinearRegression的回顾在标准线性回归中,通过最小化真实值(yiy_iyi)和预测值(y^i\hat y_iy^i)的平方误差来训练模型,这个平方误差值也被称为残差平方和(RSS原创 2021-01-21 22:13:30 · 72932 阅读 · 12 评论 -
多项式回归详解 从零开始 从理论到实践
多项式回归详解 从零开始 从理论到实践一、多项式回归的理解1.1、字面含义1.2、引申1.2.1、多项式回归二、sklearn的使用2.1、方法与属性2.2、实例应用2.2.1、拟合非线性关系2.2.2、处理特征之间的影响一、多项式回归的理解上一章是对线性关系的建模。比如在线性回归中,会假设建筑物的楼层数和建筑物的高度是一个线性关系,20层楼是10层楼的两倍左右高,10层楼是5层楼的两倍左右高。(即便不是线性关系,但是近似线性关系,误差很小,即可以等同线性关系)然而在现实生活中,许多关系则几乎完全不是原创 2021-01-21 22:12:09 · 29981 阅读 · 2 评论 -
决策树详解 从零到入门
决策树决策树的工作原理构造剪枝判断要不要打篮球纯度信息熵三种算法ID3算法 - 信息增益C4.5算法 - 信息增益率CART算法 - 信息增益率决策树的工作原理构造生成一颗完整的决策树,即选择什么属性作为节点的过程。节点分为三种:根节点,内部节点和叶节点剪枝给决策树瘦身,防止过拟合。预剪枝(Pre-Pruning)和后剪枝(Post-Pruning)决策树构造时就进行剪枝,生成决策树之后在进行剪枝。判断要不要打篮球三个关键问题:哪个属性作为根?选择那些属性作为后继节点?什么时候停止并得到原创 2020-09-16 20:13:38 · 9166 阅读 · 5 评论 -
贝叶斯分类器详解 从零开始 从理论到实践
贝叶斯分类器详解 从零开始一、贝叶斯相关概念1.1、频率学派和贝叶斯学派1.1.1 频率学派1.1.2 贝叶斯学派1.2、概率论基础知识1.3、贝叶斯定理1.4、贝叶斯决策论二、参数估计2.1、极大似然估计2.2、极大后验估计三、概率的分布3.1、离散概率分布3.1.1 伯努利分布(Bernoulli Distribution)3.1.2 分类分布(Categorical Distribution)3.1.3 二项分布(Binomial Distribution)3.1.4 多项分布(Multinomial原创 2020-12-23 20:45:04 · 1640 阅读 · 0 评论