机器学习
Diamond-Mine
个人公众号《后台开发探索之旅》
展开
-
线性回归算法推导
微积分基本运算法则法则一:对 y(x)=cxny(x)=cx^ny(x)=cxn ,其针对 x 的偏导数为 ∂∂xf(x)=cnxn−1\frac{\partial}{\partial x}f(x)=cnx^{n-1}∂x∂f(x)=cnxn−1法则二:常数的微分为 0法则三:偏导数可以穿透累加器,即∂∂x0∑i=0nF(xi)=∑i=0n∂∂x0F(xi)\frac{\p...原创 2019-08-23 18:25:16 · 662 阅读 · 0 评论 -
GBDT推导-拟合负梯度和残差
梯度提升树-为什么拟合负梯度将学习器F看做一个参数,损失函数为L(y,F)L(y,F)L(y,F),为使L损失最小,采用梯度下降法:Fm=Fm−1−dLdFF_m=F_{m-1}-\frac{dL}{dF}Fm=Fm−1−dFdL提升树采用加法模型(基函数的线性组合)与前向分布算法:Fm=Fm−1+TF_m=F_{m-1}+TFm=Fm−1+TT为训练的新树,所以有:...原创 2019-08-26 11:35:36 · 2362 阅读 · 1 评论 -
GBDT回归算法实例分析
声明:本文仅为个人学习GBDT算法的记录,如有错误或不专业的地方请指教!源码实现参考Github:https://github.com/Freemanzxp/GBDT_Simple_TutorialGBDT简介GBDT的全称是Gradient Boosting Decision Tree,梯度提升决策树,它在普通决策树的基础上添加了梯度提升方法,从1颗决策树演变为多颗决策树,逐步...原创 2019-08-27 10:12:16 · 6581 阅读 · 1 评论 -
逻辑回归推导及python实例分析
求导公式(1)log函数求导log(M∗N)′=logM+logNlog(M*N)'=logM+logNlog(M∗N)′=logM+logN(logMN)′=NlogM(logM^N)'=NlogM(logMN)′=NlogM逻辑回归Logistic Regression是广义线性模型的一种,可以用线性函数表示分类的超平面:Wx+b=yW...原创 2019-09-03 19:16:30 · 989 阅读 · 0 评论 -
softmax回归推导及python实例分析
softmax函数softmax函数也称为归一化指数函数,将每个元素的范围控制在(0,1)之间,并且所有元素的和为1。函数公式为:σ(zj)=ezj∑k=1Kezk,j=1,...,K\sigma(z_j)=\frac{e^{z_j}}{\sum_{k=1}^K{e^{z_k} }}, j=1,...,Kσ(zj)=∑k=1Kezkezj,j=1,...,K计算步骤为:每...原创 2019-09-05 11:58:29 · 1676 阅读 · 0 评论 -
FM算法推导及python实例分析
FM算法FM(Factoriztion Machine,因子分解机)是在逻辑回归基础上,增加了特征交叉项的参数学习,模型公式为:y^=w0+∑i=1nwixi+∑i=1n−1∑j=i+1n<vi,vj>xixj\hat y=w0+\sum_{i=1}^n w_i x_i+\sum_{i=1}^{n-1}\sum_{j=i+1}^n<v_i,v_j&a...原创 2019-09-09 11:46:44 · 1746 阅读 · 0 评论 -
bp神经网络推导及python实例
bp神经网络BP(back propagation,反向传播)神经网络(neural network),通常指具有三层网络结构的浅层神经网络。神经网络由一个个神经元(Neuron)组成,神经元由输入、计算、输出单元组成。对应上图输入为x1,x2,⋯ ,xnx_1,x_2,\cdots,x_nx1,x2,⋯,xn和截距+1+1+1,输出为:y^=hw,b(X...原创 2019-09-10 18:50:29 · 3801 阅读 · 0 评论