Europe233的博客

原创 图像处理常用matlab函数整理

fspecial：用于产生各种各样的卷积模板https://www.mathworks.com/help/images/ref/fspecial.html?s_tid=srchtitleimfilter：用于图像和卷积模板卷积https://www.mathworks.com/help/images/ref/imfilter.html?s_tid=srchtitle#btsmcj2-1-op...

原创 图像处理中卷积的作用

1

原创 吴恩达老师机器学习第二次作业——逻辑回归（python实现）

github地址：https://github.com/Europe233/ml_homework_py/tree/master/exercise2【第一部分：不带正则化】这一部分的数据是这样的：我们用一个线性函数来分割两种不同种类的点。做完逻辑回归后结果是这样的：代码如下：import numpy as npimport scipy.optimize as optfrom pl...

原创 Visual Studio 中导入python scipy 模块时出现问题，及其解决方法

我个人比较习惯用VS来写python，想安装一个scipy库，于是参考了以下博文：http://www.mamicode.com/info-detail-2041262.html这篇文章帮助很大，让我成功安装了scipy。但我发现在导入该模块时出现了问题：也就是说：下面代码没有出问题import scipy但这个代码出了问题：import scipy.optimize as opt...

原创 logistic回归代价函数的凸性分析

logistic回归的代价函数为：J(θ)=−1m∑i=1m[y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))]J(\theta)=-\frac{1}{m}\sum_{i=1}^m[y^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h_\theta(x^{(i)}))]J(θ)=−m1​i=1∑m​[y(i)log(hθ...

原创 sigmoid函数的求导

最常见的sigmoid函数：f(x)=11+e−xf(x)=\frac{1}{1+e^{-x}}f(x)=1+e−x1​对xxx求导：$f′(x)=f(x)⋅(1−f(x))f'(x)=f(x)\cdot(1-f(x))f′(x)=f(x)⋅(1−f(x))

原创 关于R^n空间的二次函数的几何图像的一个有趣发现

我们都知道，一个定义在R上的二次函数，对应一条抛物线，R2R^2R2上对应图形有以下几种：一件有趣的事情是，

原创 吴恩达老师机器学习第一次作业：线性回归【python实现】

【写在前面】最近刚刚学了python，用来写了下吴恩达老师机器学习第一次作业，没有用别人写好的框架，地址是：https://github.com/Europe233/ml_homework_py/tree/master/exercise1【结果展示】首先给出单变量下的拟合效果：梯度下降法和 Normal Equation 方法结果对比：多变量拟合：...

转载 【转载】python函数参数的用法

廖老师写得非常详细，非常好：https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001431752945034eb82ac80a3e64b9bb4929b16eeed1eb9000

原创 直方图均衡化和规范化的简单笔记【手写】

原创 直方图均衡化对图像信息熵的影响

\quad在图像分析中，常常用图像的灰度直方图来计算图片的信息熵。假设图像有kkk个灰度级，第iii个灰度级出现的频率为pkp_kpk​，那么信息熵为：H=−∑i=1kpilog(pi).H=-\sum_{i=1}^k{p_i}log(p_i).H=−i=1∑k​pi​log(pi​).\quad直方图均衡化，实际上是减少图像的灰度级数，换取图像对比度的增大。在此过程中，图像的信息熵会有所减少...

原创 向量范数的几何直观理解和等价定义——如何从几何上定义向量范数？

我们知道，一个函数：f:Rn↦Rf:R^n\mapsto Rf:Rn↦R 被称为RnR^nRn空间的一个范数,如果它满足以下三条性质：（以下以∥⋅∥\left\|\cdot\right\|∥⋅∥来代表这个函数）(1)正定性：∥x∥≥0,∀x∈Rn\left\|x\right\|\geq0,\forall x\in R^n∥x∥≥0,∀x∈Rn，且：∥x∥=0⟺x=0;\left\|x\right...

原创 P问题，NP问题与NPC问题的概念的简单总结

看到了一篇很不错的博文，很清楚地说明了什么是P问题、NP问题、NPC问题：http://www.matrix67.com/blog/archives/105自己做一下总结：1. P问题是指：存在某一算法，能在多项式时间复杂度内解决该问题。2. NP问题是指：给定一个特定的解，能在多项式时间复杂度内验证这个解是否是满足条件的。Remark：P问题一定是NP问题（显然），但NP问...

原创 矩阵公式tr(AA')=tr(A'A)/tr(AA^T)=tr(A^TA)的推导

求证：tr(AAT)=tr(ATA)tr(AA^{T})=tr(A^{T}A)tr(AAT)=tr(ATA)证明：根据这篇博客，AAT和ATAAA^{T}和A^{T}AAAT和ATA具有相同的非零特征值。因此我们有：\quad矩阵AATAA^{T}AAT的特征值之和=ATAA^{T}AATA的特征值之和.\quad同时，根据高等代数，一个方形矩阵的迹等于它的所有特征值之和，因此有上面的结论，...

转载 【转载】函数对向量、矩阵的求导

最近在网上看到一篇很好的文章，清楚地讲解了机器学习中函数对矩阵的求导公式和法则。在这里转载一下，大家可以去作者的这个知乎专栏看到这篇文章：https://zhuanlan.zhihu.com/p/25063314...

原创 线性系统的频率特性和低通滤波特性

手写了一些推导，给出了线性系统的频率特性的物理意义，也由此看出线性系统的低通滤波特性：

原创 最小二乘解一定存在

得到的

原创 矩阵AB和BA的特征值关系

\quad本文考察这样的两个矩阵：A∈Rm×n，B∈Rn×mA\in R^{m\times n}，B\in R^{n\times m}A∈Rm×n，B∈Rn×m.于是AB∈Rm×m，BA∈Rn×nAB\in R^{m\times m}，BA\in R^{n\times n}AB∈Rm×m，BA∈Rn×n.它们都是方阵但阶次不同.我们将证明：\quadAB和BA具有相同的非零特征值.\quad证...

原创 矩阵A^TA(A'A)和AA^T(AA')的性质

\quad对于任意一个矩阵A∈Rm×nA\in R^{m\times n}A∈Rm×n，其转置与它自身的乘积ATAA^TAATA,以及它自身与其转置的乘积AATAA^TAAT有如下性质：1.rank(ATA)=rank(A)=rank(AT)=rank(AAT)rank(A^TA)=rank(A)=rank(A^T)=rank(AA^T)rank(ATA)=rank(A)=rank(AT)=ra...

原创 矩阵化简与不变子空间直和分解的关系

\qquad本文限于讨论规模n×nn\times nn×n的方阵AAA.\qquad我们知道方阵也可以看做是一个映射：Rn→RnR^n \rightarrow R^nRn→Rn.而如果一个RnR^nRn空间的子空间TTT满足:∀x∈T,Ax∈T\forall x\in T,Ax\in T∀x∈T,Ax∈T，我们就称T是A的一个不变子空间. 不变子空间是矩阵化简的一个利器.\qquad设RnR^...

原创 最小二乘法的简单理解【几何角度&优化角度】

【几何上的理解】我们用最小二乘法，一般是在求解线性方程组时使用。往往这时的独立方程个数会多于自由变量的个数，导致没有解存在。考察这样一个方程组：Ax=b，其中A是m行n列的矩阵，x和b均为n维向量。该方程组有解，充分必要于b可以由A的列向量组线性表出，对应的系数就是解向量x的各个分量。在该方程组无解时，b就不能用A的列向量组线性表出，也就是说b不在A的列空间里。我们的目的就...

原创 时不变线性系统和时变线性系统方程的对角化

【时不变线性系统】时不变线性系统的方程为：, 其中和均为常数矩阵。由代数知识可以知道，如果有n个线性无关的特征向量，那么可以把对角化。这时存在非奇异矩阵使得：为对角阵。于是做变换：系统方程变为：,完成了对角化。由此可见：时不变线性系统方程的对角化必须要求：A有n个线性无关的特征向量。【时变线性系统】时不变线性系统的方程为：, 其中和均为时变矩阵。我们...

原创 【二分查找】为什么每次查找要等分搜索区间呢？

一个有趣的小问题，我们使用二分查找时，每次都等分查找区间。这有什么内在原因吗？可不可以分为其他的比例，如分成1/3和2/3长的区间？答案是简单的：假设某次查找时，原区间长度是，我们将区间分为和的长度，其中。那么这次查找后剩余的区间长度是多少呢？因为我们不知道查找的元素具体在哪个区间，可以从概率角度计算其期望：有的概率落在长度为的区间，有的概率落在长度为的区...

原创 PTA练习题： 树的同构

在网上做了一道简单的练习题，判断两棵树是否同构：https://pintia.cn/problem-sets/1010070491934568448/problems/1040435498128044032题目描述：给定两棵树T1和T2。如果T1可以通过若干次左右孩子互换就变成T2，则我们称两棵树是“同构”的。例如图1给出的两棵树就是同构的，因为我们把其中一棵树的结点A、B、G的左右孩子互...

原创 利用归并排序求解逆序数及其时间复杂度分析

Part 1:问题描述在一个排列中，如果一对数的前后位置与大小顺序相反，即前面的数大于后面的数，那么它们就称为一个逆序。一个排列中逆序的总数就称为这个排列的逆序数。现在给定一个序列，其中元素皆为整数（当然，这里只是为了方便，实际上也可以是其他类型的数据），元素个数未知，要求给出其逆序数。Part 2:求解思路1.由于元素个数未知，可以使用vector，能实现元素的快速增长。2.从归...