机器学习
文章平均质量分 77
常规,机器学习算法,从最原始的数学开始推导到实际应用。我们一起记录,一起学习,一起进步~
流水不争先,争的是滔滔不绝~
唯有学习,才可以跨越35岁编程陷阱!
MathDance
通过代码让数学跳动,开启无限可能
展开
-
神经网络激活函数与求导
常用神经网络激活函数及其求导公式推导~原创 2022-03-09 17:15:37 · 2401 阅读 · 0 评论 -
元素向量矩阵求导公式(学到家)
向量、矩阵、元素求导原创 2022-01-21 11:39:34 · 1061 阅读 · 0 评论 -
朴素贝叶斯案例解析
文章目录什么是贝叶斯贝叶斯算例什么是贝叶斯贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展,用来描述两个条件概率之间的关系,如下:P(A∣B)=P(B∣A)P(A)P(B)P(A|B) = \frac{P(B|A)P(A)}{P(B)}P(A∣B)=P(B)P(B∣A)P(A)P(A):事件A发生的概率P(B):事件B发生的概率P(A|B):事件B发生的条件下(B已经发生),事件A发生的概率P(B|A):事件A发生的条件下(A已经发生),事件B发生的概原创 2021-09-24 12:07:13 · 9717 阅读 · 5 评论 -
XGBoost VS GBDT
文章目录算法介绍算法差异算法介绍XGBoost是陈天奇等人开发的一个开源机器学习项目,高效地实现了GBDT算法并进行了算法和工程上的许多改进,被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。说到XGBoost,不得不提GBDT(Gradient Boosting Decision Tree)。因为XGBoost本质上还是一个GBDT,但是力争把速度和效率发挥到极致,所以叫X (Extreme) GBoosted。两者都是boosting方法。算法差异其一:传统GBDT以C原创 2021-09-22 16:34:15 · 806 阅读 · 0 评论 -
机器学习模型评价指标ROC-AUC
文章目录混淆矩阵真正率假正率ROC-AUC理想情况混淆矩阵首先,在试图弄懂ROC和AUC概念之前,你一定要彻底理解混淆矩阵的定义!混淆矩阵中有着Positive、Negative、True、False的概念,其意义如下:称预测类别为1的为Positive(阳性)预测类别为0的为Negative(阴性)预测正确的为True(真)预测错误的为False(伪)。对上述概念进行组合,就产生了如下的混淆矩阵:真正率假正率然后,由此引出True Positive Rate(真正率)、False原创 2021-09-22 14:39:21 · 1312 阅读 · 0 评论 -
Xgboost分类树参数详解
文章目录模型参数常规参数学习任务参数模型参数n_estimatores: 总共迭代的次数,即决策树的个数early_stopping_rounds: 在验证集上,当连续n次迭代,分数没有提高后,提前终止训练。防止overfitting。max_depth: 树的深度,默认值为6,典型值3-10。值越大,越容易过拟合;值越小,越容易欠拟合。min_child_weight: 默认值为1,。值越大,越容易欠拟合;值越小,越容易过拟合(值较大时,避免模型学习到局部的特殊样原创 2021-09-18 19:35:57 · 2614 阅读 · 1 评论 -
机器学习评价指标
文章目录混淆矩阵准确率真正率假正率精确率召回率F-measure(F1)值混淆矩阵True Positive (真正, TP)被模型预测为正的正样本;True Negative(真负 , TN)被模型预测为负的负样本 ;False Positive (假正, FP)被模型预测为正的负样本;False Negative(假负 , FN)被模型预测为负的正样本;准确率准确率(Accuracy)。顾名思义,就是所有的预测正确(正类负类)的占总的比重accuracy=TP+TNTP+FN+FP+T原创 2021-08-25 12:28:39 · 2740 阅读 · 0 评论 -
梯度提升分类树损失函数化简过程
文章目录损失函数:推导过程结论如下梯度提升分类树损失函数化简过程损失函数:定义交叉熵为函数ψ(y,F(x))\psi(y,F(x))ψ(y,F(x))ψ(y,F(x))=−yln(p)−(1−y)ln(1−p)\psi(y,F(x)) = -yln(p) - (1-y)ln(1-p)ψ(y,F(x))=−yln(p)−(1−y)ln(1−p)其中p=11+exp(−F(x))p = \frac{1}{1 + exp(-F(x))}p=1+exp(−F(x))1 ,即sigmoid函数原创 2021-07-29 12:06:10 · 1123 阅读 · 1 评论 -
决策树可视化
文章目录相应软件安装cmake安装graphviz安装决策树画图实操相应软件安装pip install graphvizcmake安装下载地址软件安装过程,要勾选添加环境变量:然后一路下一步,就可以了~graphviz安装安装了Python库graphviz,还不够,还需要安装graphviz下载页面这个软件,下载地址如下:软件软件安装过程,要勾选添加环境变量:然后一路下一步,就可以了~决策树画图实操常规导出到图片(没有颜色设置)from sklearn.datasets原创 2021-07-19 17:38:41 · 2865 阅读 · 1 评论 -
拉格朗日乘子法-KKT不等式约束
文章目录不等式约束极小值点落在可行域内(不包含边界)极小值点落在可行域外(包含边界)总结不等式约束对于不等式约束g(x)<=0,和等式约束h(x)=0不一样,h(x)=0可以在平面上画出一条等高线,而g(x)<=0是一个区域,很多个等高线堆叠而成的一块区域,我们把这块区域称为可行域。不等式约束分两种情况来讨论,第一种是极小值点落在可行域内(不包含边界),第二种是极小值点落在可行域外(包含边界)。下面举两个例子来解释这两种情况,然后总结两种情况给出转换求解。极小值点落在可行域内(不包含边原创 2021-06-30 12:39:31 · 6544 阅读 · 6 评论 -
多元线性回归(高斯分布--->最小二乘法)
文章目录多元线性回归1、基本概念1.1、连续值1.2、离散值1.3、简单线性回归1.4、最优解1.5、多元线性回归2、线性回归算法推导2.1、深入理解回归2.2、误差分析2.3、最大似然估计2.4、高斯分布-概率密度函数2.5、误差总似然2.6、最小二乘法MSE2.7、归纳总结升华3、正规方程3.1、最小二乘法矩阵表示3.2、矩阵转置公式与求导公式:3.3、推导正规方程 θ\thetaθ 的解:3.4、凸函数判定4、线性回归实战4.1、使用正规方程进行求解4.1.1、简单线性回归4.1.2、多元线性回归4.原创 2021-06-08 19:14:50 · 3929 阅读 · 1 评论