- 博客(10)
- 收藏
- 关注
RSS订阅原创 最优化笔记：有约束优化，拉格朗日乘子的意义，KKT条件
有约束优化，拉格朗日乘子的意义，KKT条件拉格朗日乘子法的引入KKT条件多个约束条件的情况拉格朗日乘子法的引入一个典型的带约束条件优化问题：minxf(x)min_xf(x)minxf(x)s.t.g(x)=0s.t. g(x)=0s.t.g(x)=0以xxx为二维变量为例，设：f(x,y)=df(x,y)=df(x,y)=d， g(x,y)=cg(x,y)=cg(x,y)=c，...
2019-08-05 18:10:24
607
原创 最优化笔记：梯度下降法
梯度下降法梯度的定义梯度下降法梯度下降公式为什么负梯度方向是目标函数下降最快的方向梯度的定义如果w=w(x,y,z),x=x(t),y=y(t),z=z(t)，w = w(x, y, z), x = x(t), y = y(t), z = z(t)，w=w(x,y,z),x=x(t),y=y(t),z=z(t)，根据链式法则：如果设▽w▽w▽w 是一个综合了www所有偏导数的向量，dr/d...
2019-08-05 16:56:51
296
原创 概率统计笔记：误差的高斯分布与最小二乘估计的等价性
误差的高斯分布与最小二乘估计的等价性误差的高斯分布与最小二乘估计的等价性似然函数最小化误差求解权重最优解误差的高斯分布与最小二乘估计的等价性假设有N维向量x1,x2,...,xN,xi∈Rnx_1,x_2,...,x_N,x_i\in R^nx1,x2,...,xN,xi∈Rn观测值Y：y1,y2,...,yN,yi∈Rny_1,y_2,...,y_N,y_i\in R^ny1,y...
2019-08-02 19:01:46
645
原创 概率统计笔记：极大似然估计
极大似然估计，误差的高斯分布与最小二乘估计的等价性极大似然估计的具体步骤似然函数假设样本观测值求解方程极大似然估计的具体步骤假设有随机变量X∼P(x;θ)X\sim P(x;\theta)X∼P(x;θ)现有样本x1,x2,...xNx_1, x_2, ...x_Nx1,x2,...xN我们需要做四步：表示似然函数、假设样本观测值、求解方程和代入数据。似然函数对于离散型和连续型随...
2019-08-02 18:35:37
1059
原创 概率统计笔记：高斯分布
高斯分布概述概率密度函数概述正态分布(Normal distribution)又名高斯分布(Gaussian distribution)，是一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。概率密度函数若随机变量X服从一个数学期望为μ，标准差为σ的高斯分布，记为：X∼N(μ,σ2)X \sim N(\mu,\sigma^2)X∼N(μ,σ2)则其...
2019-08-02 11:41:55
2556
原创 线性代数笔记：PCA算法推导
PCA算法推导PCA原理概述样本中心化最小重构误差公式推导PCA原理概述PCA是主成分分析(Principal Components Analysis)的简称。这是一种数据降维技术，用于数据预处理。一般我们获取的原始数据维度都很高，那么我们可以运用PCA算法降低特征维度。这样不仅可以去除无用的噪声，还能减少很大的计算量。PCA和SVD类似，仍然是一种数据压缩的算法。找到诸如AA′AA^\p...
2019-08-01 00:33:48
1025
原创 线性代数笔记：矩阵的对角化、SVD分解及应用
矩阵的对角化、SVD分解及应用矩阵的对角化、SVD分解及应用矩阵运算的总结矩阵对角化SVD分解张量(tensor)转置(transpose)矩阵的对角化、SVD分解及应用许多数学对象可以通过将它们分解成多个组成部分或者找到它们的一些属性而更好地理解，这些属性是通用的，而不是由我们选择表示它们的方式产生的。例如，整数可以分解为质因数。我们可以用十进制或二进制等不同方式表示整数 12，但是 12...
2019-07-31 20:45:38
3420
原创 线性代数笔记：基本概念
机器学习中线性代数是很重要的基础内容，很多工作多年的码农把数学忘得一干二净了，为了学习机器学习又重新捡起来，本系列文章重点对机器学习中的线性代数做个简单的归纳总结，使学习起来有针对性。
2019-07-31 16:50:25
770
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人