机器学习
文章平均质量分 56
白老师没有头发
我也想变得很酷
展开
-
sigmoid函数的求导
最常见的sigmoid函数:f(x)=11+e−xf(x)=\frac{1}{1+e^{-x}}f(x)=1+e−x1对xxx求导:$f′(x)=f(x)⋅(1−f(x))f'(x)=f(x)\cdot(1-f(x))f′(x)=f(x)⋅(1−f(x))原创 2019-05-02 11:18:35 · 1767 阅读 · 0 评论 -
最小二乘法的简单理解【几何角度&优化角度】
【几何上的理解】我们用最小二乘法,一般是在求解线性方程组时使用。往往这时的独立方程个数会多于自由变量的个数,导致没有解存在。考察这样一个方程组:Ax=b,其中A是m行n列的矩阵,x和b均为n维向量。该方程组有解,充分必要于b可以由A的列向量组线性表出,对应的系数就是解向量x的各个分量。在该方程组无解时,b就不能用A的列向量组线性表出,也就是说b不在A的列空间里。我们的目的就...原创 2018-11-27 01:39:35 · 1212 阅读 · 0 评论 -
矩阵A^TA(A'A)和AA^T(AA')的性质
\quad对于任意一个矩阵A∈Rm×nA\in R^{m\times n}A∈Rm×n,其转置与它自身的乘积ATAA^TAATA,以及它自身与其转置的乘积AATAA^TAAT有如下性质:1.rank(ATA)=rank(A)=rank(AT)=rank(AAT)rank(A^TA)=rank(A)=rank(A^T)=rank(AA^T)rank(ATA)=rank(A)=rank(AT)=ra...原创 2019-01-31 20:14:58 · 21571 阅读 · 5 评论 -
矩阵AB和BA的特征值关系
\quad本文考察这样的两个矩阵:A∈Rm×n,B∈Rn×mA\in R^{m\times n},B\in R^{n\times m}A∈Rm×n,B∈Rn×m.于是AB∈Rm×m,BA∈Rn×nAB\in R^{m\times m},BA\in R^{n\times n}AB∈Rm×m,BA∈Rn×n.它们都是方阵但阶次不同.我们将证明:\quadAB和BA具有相同的非零特征值.\quad证...原创 2019-01-31 22:20:02 · 25694 阅读 · 3 评论 -
最小二乘解一定存在
得到的原创 2019-01-31 22:25:33 · 3295 阅读 · 4 评论 -
【转载】函数对向量、矩阵的求导
最近在网上看到一篇很好的文章,清楚地讲解了机器学习中函数对矩阵的求导公式和法则。在这里转载一下,大家可以去作者的这个知乎专栏看到这篇文章:https://zhuanlan.zhihu.com/p/25063314...转载 2019-03-06 00:06:26 · 2023 阅读 · 0 评论 -
矩阵公式tr(AA')=tr(A'A)/tr(AA^T)=tr(A^TA)的推导
求证:tr(AAT)=tr(ATA)tr(AA^{T})=tr(A^{T}A)tr(AAT)=tr(ATA)证明:根据这篇博客,AAT和ATAAA^{T}和A^{T}AAAT和ATA具有相同的非零特征值。因此我们有:\quad矩阵AATAA^{T}AAT的特征值之和=ATAA^{T}AATA的特征值之和.\quad同时,根据高等代数,一个方形矩阵的迹等于它的所有特征值之和,因此有上面的结论,...原创 2019-03-06 15:48:26 · 10778 阅读 · 2 评论 -
向量范数的几何直观理解和等价定义——如何从几何上定义向量范数?
我们知道,一个函数:f:Rn↦Rf:R^n\mapsto Rf:Rn↦R 被称为RnR^nRn空间的一个范数,如果它满足以下三条性质:(以下以∥⋅∥\left\|\cdot\right\|∥⋅∥来代表这个函数)(1)正定性:∥x∥≥0,∀x∈Rn\left\|x\right\|\geq0,\forall x\in R^n∥x∥≥0,∀x∈Rn,且:∥x∥=0⟺x=0;\left\|x\right...原创 2019-03-19 17:39:24 · 5816 阅读 · 0 评论 -
吴恩达老师机器学习第一次作业:线性回归【python实现】
【写在前面】最近刚刚学了python,用来写了下吴恩达老师机器学习第一次作业,没有用别人写好的框架,地址是:https://github.com/Europe233/ml_homework_py/tree/master/exercise1【结果展示】首先给出单变量下的拟合效果:梯度下降法和 Normal Equation 方法结果对比:多变量拟合:...原创 2019-04-19 21:11:27 · 1144 阅读 · 0 评论 -
logistic回归代价函数的凸性分析
logistic回归的代价函数为:J(θ)=−1m∑i=1m[y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))]J(\theta)=-\frac{1}{m}\sum_{i=1}^m[y^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h_\theta(x^{(i)}))]J(θ)=−m1i=1∑m[y(i)log(hθ...原创 2019-05-03 00:40:45 · 2821 阅读 · 0 评论 -
吴恩达老师机器学习第二次作业——逻辑回归(python实现)
github地址:https://github.com/Europe233/ml_homework_py/tree/master/exercise2【第一部分:不带正则化】这一部分的数据是这样的:我们用一个线性函数来分割两种不同种类的点。做完逻辑回归后结果是这样的:代码如下:import numpy as npimport scipy.optimize as optfrom pl...原创 2019-05-07 15:49:28 · 1323 阅读 · 0 评论