机器学习笔记_数学基础_1-微积分

原创 2015年11月17日 21:28:14

微积分

  • 极限
  • 导数 : 一阶导数;二阶倒数;
  • 微分中值定理
    (1)罗尔定理(倒数为零的点是驻点)
    (2)拉格朗日中值定理
  • 泰勒公式
    f(x)=f(x0)+f(x0)(xx0)+f(x0)2!(xx0)2++fracfn(x0)n!(xx0)n+o(xn)
  • 二阶倒数
  • 凹凸性
    凸函数: f(θx+(1θ)y)θf(x)+(1θ)f(y)
    f′′(x)>0
    推广:
    f(θ1x1++θnxn)θ1f(x1)++θnf(xn)

多远微积分

  • 偏导数
  • 方向导数
    fl=fxcosϕ+fysinϕ
    PS:ϕ是x轴到方向L的转角

  • 梯度: 函数z=f(x,y)在P点的梯度 gradf(x,y)=xf(x0+y0)i+yf(x0+y0)j

  • 多元函数求极值

多元函数等式条件极值: 拉格朗日乘数法

  • 函数z=f(x,y)在条件φ(x,y)=0 添加下取得极值
  • 定义拉格朗日函数L(x,y)=f(x,y)+λφ(x,y)

fx(x0,y0)+λφx(x0,y0))=0fy(x0,y0)+λφy(x0,y0))=0φ(x,y0))=0

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

机器学习笔记_数学基础_2-概率论

概率论 概率: P(X)∈[0,1]=>离散;连续P(X) \in [0,1] => 离散;连续 累积分布函数 Φ(x)=P(x)\Phi(x)=P(x)...

解L1范数优化的快速算法:分拆方法

记得在前阵一个QQ技术交流群一位朋友提过这个方法。最近看到一个相关资料,了解点皮毛。 针对以下形式的L1范数优化问题: 如果稀疏字典不可逆,这在压缩感知中常见的(样本个...
  • hhsh49
  • hhsh49
  • 2016年10月10日 20:53
  • 265

机器学习笔记_数学基础_7-凸优化理论

优化问题minf0(x)min f_0(x) subjecttofi(x)≤bi,i=1,⋯,msubject to f_i(x) \leq b_i, \quad i=1,\cdots,m x=(x...

【ML学习笔记】2:机器学习中的数学基础2

琴生不等式下凸函数的一个良好的性质就是满足琴生不等式,因为: 它的加权形式即琴生不等式: 如果将这些权都视为概率,它们加起来为1,那么还能写成数学期望的形式: f(E(x))...

机器学习的数学基础(1)--Dirichlet分布

这一系列(机器学习的数学基础)主要包括目前学习过程中回过头复习的基础数学知识的总结。 基础知识:conjugate priors共轭先验     共轭先验是指这样一种概率密度:它使得后验概率的密度...

机器学习的数学基础(1)--Dirichlet分布

基础知识:conjugate priors共轭先验     共轭先验是指这样一种概率密度:它使得后验概率的密度函数与先验概率的密度函数具有相同的函数形式。它极大地简化了贝叶斯分析。    ...

机器学习数学基础(1)

博文以学习PRML为主,并尽力把其主要内容记录下来,希望大家多多指点。多项式拟合首先我们来看一个使用多项式拟合数据的例子,观测集由函数 sin(2πx)sin(2\pi x) 产生, 为了是数据显得更...

机器学习的数学基础(1)--Dirichlet分布

http://blog.csdn.net/jwh_bupt/article/details/8841644 这一系列(机器学习的数学基础)主要包括目前学习过程中回过头复习的基础数学知识的总结...

机器学习数学基础(1)-回归、梯度下降

1. 前言本系列文章将总结一些机器学习中应用到的数学基础,想要学好机器学习,首先得去理解其中的数学意义,不一定要到能够轻松自如的推导中间的公式,不过至少要认识这些公式,不然一些相关的论文就看不懂,这个...

七月算法机器学习笔记1 微积分与概率论

七月算法(http://www.julyedu.com) 12月份 机器学习在线班 学习笔记
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习笔记_数学基础_1-微积分
举报原因:
原因补充:

(最多只允许输入30个字)