机器学习从入门到放弃
jshazhang
这个作者很懒,什么都没留下…
展开
-
softmax交叉熵
多分类问题神经网络输出多个类型,每个类型需要判断正确的概率,这个时候logisticregression就不行了,我们就需要新的函数来解决这个问题,也就是softmax,称归一化指数函数。softmax公式δ(z)=expzi∑j=1mexpzj,i=1,...,m \delta(z) ={ {\exp^{z_i}}\over{ \sum_{j=1}^m \exp^{z_j}}},i=...原创 2019-12-26 19:57:16 · 158 阅读 · 0 评论 -
决策树基本概念
信息量I=log2mI=\log_2mI=log2m如果两队比赛,只有两个结果,m=2。I=1,信息量为1世界杯32支队伍,冠军的信息量I=log232=5I=\log_232=5I=log232=5上面公式有个前提,就是m情况产生的概率均等事件出现的概率越小,信息量越大。信息量的多少是与事件发生频繁程度大小(概率大小)恰好相反。H(Xi)=−logPH(X_i)=-\log...原创 2019-03-20 18:53:20 · 766 阅读 · 0 评论 -
SVM
点到目标函数距离如图y=w⋅x+b=0y=w \cdot x +b =0y=w⋅x+b=0y1=w⋅x1+b=1y_1=w \cdot x_1 +b =1y1=w⋅x1+b=1 ①y2=w⋅x2+b=−1y_2=w \cdot x_2 +b =-1y2=w⋅x2+b=−1②两个点所在的决策边界距离d要尽量大。d=∥x1−x2∥cosθ\parallel x_1 - x_2 \p...原创 2018-09-25 19:14:10 · 183 阅读 · 0 评论 -
多元函数的极值
多元函数的极值定义z=f(x,y) (x,y)∈∈\inD,M0(x0,y0)∈D(M0是D的内点),U(M0,δ(域))⊂DM0(x0,y0)∈D(M0是D的内点),U(M0,δ(域))⊂DM_0(x_0,y_0)\in D(M_0是D的内点) ,U(M_0,\delta(域))\subset D若f(x0,y0x0,y0x_0,y_0)是函数z=f(x,y)在U(M0,δ)U(...原创 2018-08-18 09:59:26 · 26163 阅读 · 4 评论 -
BP推导
图符号aniaina_i^n推导向前传播第一层a(1)1=x1ja1(1)=x1ja_{1}^{(1)}=x_{1j}a(1)2=x2ja2(1)=x2ja_{2}^{(1)}=x_{2j}第二层z(2)1=a(1)1w(1)1+a(1)2w(1)3+b1=x1jw(1)1+x2jw(1)3+b1z1(2)=a1(1)w1(1)+a2(1)w3(1)+b1=x1...原创 2018-07-12 19:14:19 · 409 阅读 · 0 评论 -
logistic回归公式推导
假设函数h(θ)=11+e−θTXh(θ)=11+e−θTXh(\theta)={1\over{1+e^{-\theta^TX}}}为什么使用sigmod代价函数J(θ)=−1m∑i=1m[yilog(hθ(xi))+(1−yi)log(1−hθ(xi))]J(θ)=−1m∑i=1m[yilog(hθ(xi))+(1−yi)log(1−hθ(xi))]J(\theta)=-{1...原创 2018-06-05 21:03:33 · 801 阅读 · 0 评论 -
线性回归损失函数推导-最大似然
把统计看了一遍就是为了这里! 线性回归假设函数为 y=θTXy=θTXy=\theta^TX 之前是根据函数图像推导出损失函数为误差平方和,这次用统计学方法推导。 拟合数据,就是把误差减到最小 误差ϵ=y−θTXϵ=y−θTX\epsilon=y-\theta^TX。 假设误差服从正态分布,误差最小也就是期望为0。ϵϵ\epsilon~N(0,σ2σ2\sigma^2) 最大似然估计...原创 2018-05-28 20:01:18 · 2248 阅读 · 1 评论 -
多元线性回归正规方程java代码
正规方程:A=(XXT)−1XTYA=(XXT)−1XTYA=(XX^T)^{-1}X^TY 之前已经证明过了。 用JAMA包做矩阵计算 结果自己造的数据矩阵不可逆。。。。。package com.zy.ml;import java.io.File;import java.io.IOException;import java.util.ArrayList;import java....原创 2018-05-23 16:42:55 · 2284 阅读 · 4 评论 -
多元线性回归批量梯度下降java代码
多元假 设函数 hθ(x)=θTX=θ0x0+θ1x1+...+θnxn,x0=1hθ(x)=θTX=θ0x0+θ1x1+...+θnxn,x0=1h_{\theta}(x)=\theta^TX=\theta_0x_0+\theta_1x_1+...+\theta_nx_n , x_0=1 多元代价函数 J(θ0,θ1,...,θn)=12m∑i=1m(hθ(xi)−yi)2J(θ0,...原创 2018-05-22 18:54:54 · 981 阅读 · 2 评论 -
梯度下降(Gradient Descent)小结
在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1. 梯度 在微积分里面,对多元函数的参数求∂偏导数,把求得的各个参数的偏导数以向量的形式写出来,就是梯度。比如函数f(x,y), 分别对x,y求偏导数,求得的梯度向量就是(∂f/∂x, ∂f/∂转载 2017-11-09 19:59:02 · 3512 阅读 · 0 评论 -
最小二乘一元回归代价函数-最小值求解(偏导数)
原创 2017-10-24 09:00:25 · 4072 阅读 · 0 评论 -
最小二乘一元回归代价函数-最小值求解(初等数学)
最小二乘法初等数学证明原创 2017-10-23 08:49:38 · 390 阅读 · 0 评论 -
最小二乘多元回归代价函数-最小值求解(正规方程)
先求偏导,通过矩阵乘法,算出参数A的值原创 2017-10-28 09:51:38 · 2096 阅读 · 2 评论 -
写在分类开头
为什么起名叫机器学习从入门到放弃,因为机器学习太难了,说不定哪天就放弃了。起名叫从入门到放弃,当然是想先入门。希望能够先坚持到入门。。原创 2017-10-20 10:21:30 · 226 阅读 · 0 评论