- 博客(10)
- 收藏
- 关注
RSS订阅原创 吴恩达机器学习之经验风险最小化
偏差与方差权衡 当模型对数据的拟合程度不够时，预测值与真实值的误差较大，此时偏差很大，当模型对数据的拟合得很好时，预测值与真实值的误差较小，但此时方差很大。 训练误差与一般误差 定义训练误差（经验风险ERM）： ξ^(hθ)=1m∑iI(hθ(xi)≠yi)\hat{\xi}(h_\theta)=\frac{1}{m}\sum_iI(h_\theta(x^i)\n
2017-12-22 16:51:27
850
原创 吴恩达机器学习之顺序最小化优化算法
核函数的定义 定义映射x→ϕ(x)x\rightarrow\phi(x)，其中x∈Rx\in R，ϕ(x)\phi(x)是一个向量 核函数定义①： k(x,z)=(xTz)2=(∑ixizi)(∑jxjzj)k(x,z)=(x^Tz)^2=(\sum_ix_iz_i)(\sum_jx_jz_j) =∑i∑j(xixj)(zizj)=(ϕ(x)Tϕ(z))=\sum_i\sum_
2017-12-19 15:36:02
1333
原创 吴恩达机器学习之最优间隔分类器
最优间隔分类器 定义目标函数: hw,b=g(wTx+b)h_{w,b}=g(w^Tx+b)，g(z)={10z≥0z<0g(z)=\begin{cases} 1&z\geq0 \\ 0&z<0 \end{cases}，y∈{−1,1}y\in \lbrace-1,1\rbrace 定义函数间隔： Υ−i=yi(wTxi+b)\Upsilon^{-
2017-12-16 19:50:35
702
原创 吴恩达机器学习之朴素贝叶斯
判别学习算法与生成学习算法 判别学习算法直接学习p(y∣x)p(y\mid x)或者hθ(x)h_\theta(x) 生成学习算法通过对类条件概率p(x∣y)p(x\mid y)建模，得到后验概率p(y∣x)p(y\mid x) 高斯判别分析 假设y∈Bernoulli(ϕ)y\in Bernoulli(\phi)，即p(y=1∣x)=phi)p(
2017-12-14 20:16:53
1897
2
原创 数学建模程序与方法之非线性规划
定义 如果目标函数或者约束条件包含非线性函数，那么这种规划问题成为非线性规划问题。我们知道线性规划问题的最优解在可可行域的边界上达到，而非线性规划问题的最优解可以在可行域的任意一点达到。 数学表达 minf(x) s.t.⎧⎩⎨⎪⎪⎪⎪Ax≤BAeq⋅x=bC(x)≤0Ceq(x)=0\min f(x) s.t.\begin{cases} Ax\leq B
2017-12-11 22:18:28
1079
原创 吴恩达机器学习之牛顿方法
牛顿方法原理 给定一个函数f(θ)f(\theta),为了求解f(θ)=0f(\theta)=0时θ\theta的值，可以用迭代方法逼近真实值 给定初始化值θ0\theta_0,使得f(θ0)=0f(\theta_0)=0 求解f(θ1)=0f(\theta_1)=0时θ\theta的值，根据导数的定义有：θ1=θ0−f(θ0)f′(θ0)\theta_1=\thet
2017-12-10 22:16:55
876
原创 数学建模程序与算法之整数线性规划
定义 在线性规划模型中，规划中的变量限制为整数时称为整数线性规划。 变量全部限制为整数，称为（完全）整数线性规划 变量部分限制为整数，称为混合整数线性规划 完全整数线性规划问题： %%%%%%%%%%%%%%%% min z=-x1-x2 %%%%%%%%%%%%%%%%%%%%%%%%% %%%%%%%%%%%%%%%%
2017-12-10 11:20:44
8328
1
原创 数学建模算法与程序之线性规划
线性规划的概念 线性规划的数学标准为 maxz=∑nj=1xjyj\max z=\sum_{j=1}^nx_jy_j (1)(1) s.t.⎧⎩⎨⎪⎪∑ni=1aijxj<=bi∑ni=1aeqijxj=beqilb=<xi<=ubi=1,2,⋯,mi=1,2,⋯,m (2)i=1,2,⋯,ns.t. \begin{cases} \sum
2017-12-09 12:20:58
547
原创 吴恩达机器学习课程之参数拟合
参数拟合概念 拟合是指从训练数据学习目标函数，过拟合是指目标函数对训练数据的预测能力很强，但对测试数据预测能力很差，欠拟合是指目标函数对训练数据和测试数据的拟合程度都很差。 参数学习算法与非参数学习方法 参数学习方法是指目标函数在训练过程中参数是固定的，例如线性回归算法，而非参数学习方法是指目标函数在训练过程中参数是可变的，例如局部加权回归算法 局部加权回归算
2017-12-08 20:19:06
1075
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人