- 博客(8)
- 收藏
- 关注
RSS订阅原创 机器学习基础 7：概率与分布
概率 (Probability) 在关于频率这一概念的解释中，一个被广泛接受的解释是频率解释(frequency interpretation)：在长期观测过程中，一个事件(event)发生或出现的比例样本空间 (Sample Space) 在统计学中，观察与测量的过程被称为经验(experiment)，其中包含一系列或复杂或简单的决策过程。我们从经验中可以获取到各种数据被称为结...
2019-07-11 02:36:11
349
原创 机器学习基础 4：无约束最优化方法
最优化问题 现实生活中，常常会遇到某类实际问题，我们需要在众多的方案中选择一个最优的，使得实现的成本最小化，这种问题被称为最优化问题。 最优化问题可以看作求一个多元函数在某个给定集合上的极值问题，都可以用下面的数学模型来描述：minf(x) s.t. x∈Ω \min f(x)\ \ s.t. \ \ x \in \Omega minf(...
2019-07-11 02:03:59
574
原创 机器学习基础 6：无约束最优化方法—— 梯度与牛顿法
无约束最优化梯度下降（Gradient Descent） 梯度下降法也称为最速下降法，是一个常用的最优化算法。梯度下降法的计算过程就是沿梯度下降的方向求解极小值。实际上就是一个逼近极值的迭代过程，其迭代公式可表示为 ak+1=ak+ρks^(k)a_{_{k+1}} = a_{_k} + \rho_{_k}\hat{s}^{_{(k)}}ak+1=ak+ρks^(k)，其...
2019-07-11 01:45:54
583
原创 机器学习基础 5：无约束最优化方法——线搜索
基础知识 在开始介绍优化方法之前，我们先介绍一些基础知识泰勒级数f(x)=f(a)0!+f′(a)1!(x−a)+f′′(a)2!(x−a)2+...+fn(a)n!(x−a)n+Rn(x) f(x)=\frac{f(\mathbf{a})}{0!}+\frac{f'(\mathbf{a})}{1!}(x-\mathbf{a})+\frac{f'&am...
2019-07-11 01:45:48
1111
原创 机器学习基础 3：自动求导——现代机器学习框架的基础
什么是自动求导 自动求导 (AUTOMATIC DIFFERENTIATION 简称 AD) 或许是目前你从未听过且最有用的计算技术之一。如果你的工作涉及到实数计算，那么理解 AD 或许将会对你的工作有所帮助。 其定义如下：自动求导，也被称为算法求导(algorithmic differentiation)或计算求导(computational differentiation)，是一组...
2019-07-11 01:45:28
1237
原创 机器学习基础 2：矩阵乘法以及求导
向量、矩阵、张量向量：一维数组矩阵：二维数组张量：N 维数组 什么是张量(tensor)？特殊矩阵对角矩阵 [a11000a22000a33]\begin{bmatrix} a_{11} & 0 & 0 \\ 0 & a_{22} & 0 \\0 & 0 & a_{33} \\\...
2019-07-11 01:45:09
2083
原创 机器学习基础 1：梯度以及链式法则
###一元函数与多元函数 按照函数中包含的自变量个数，我们可以将函数分为：一元函数： 只有一个自变量的函数 $ y=f(x)$，若 xxx 是实数，则函数是一条线二元函数： 有两个自变量的函数 $ z=f(x,y)$，若 xxx 与 yyy 是实数，则函数是一个面……###导数与偏导数 导数的本质是一个微小区间内的变化量 对于一元函数来说，导数就是函数在某个点...
2019-07-11 01:44:54
3054
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人