自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

蜗牛

统计机器学习,数学

  • 博客(32)
  • 资源 (14)
  • 收藏
  • 关注

翻译 漫步数学分析三十九——隐函数定理

假设x,yx,y被方程F(x,y)=0F(x,y)=0关联起来,我们会说这定义了一个函数y=f(x)y=f(x)(或者说隐式定义了y=f(x)y=f(x)),然后打算计算dy/dxdy/dx。前面已经提到过,给定这样的FF,一般不能显式求出yy,所以在没有求解之前知道这样的函数存在是非常重要的。为了更好的理解给出的结论,考虑函数F(x,y)=x2+y2−1F(x,y)=x^2+y^2-1,我们对满足

2017-03-22 20:58:24 8450 1

翻译 漫步数学分析三十八——反函数定理

注意Jf(x)≠0Jf(x)\neq0意味着Df(x):Rn→RnDf(x):R^n\to R^n是线性同构(即它的矩阵是可逆的),从而根据事实:最佳线性近似是可逆的,我们想得出函数本身是可逆的。然而,需要一些限制条件。为此考虑f:R→Rf:R\to R,如果ff是C1C^1且f′(x0)≠0f^\prime(x_0)\neq0,那么ff在x0x_0的邻域内是可逆的。几何上来看这非常明显,因为f′(

2017-03-21 20:43:38 9688 2

翻译 漫步数学分析番外六(下)

定理9\textbf{定理9} 令f:A→Rf:A\to R在开集AA上二阶可导且D2fD^2f连续(即函数∂2f/(∂xi∂j)\partial^2f/(\partial x_i\partial_j)是连续的),那么D2fD^2f是对称的;即 D2f(x)(x1,x2)=D2f(x)(x2,x1)D^2f(x)(x_1,x_2)=D^2f(x)(x_2,x_1)或者用元素的方式表示就是 ∂

2017-03-20 19:30:22 445

翻译 漫步数理统计十一——连续随机变量(下)

定理1:\textbf{定理1:}令XX是连续随机变量,其pdf为fX(x)f_X(x),支撑为SX\mathcal{S}_X,令Y=g(X)Y=g(X),其中g(x)g(x)是XX支撑S\mathcal{S}上的一对一可微函数,gg的反函数表示为x=g−1(y)x=g^{-1}(y)并令dx/dy=d[g−1(y)]/dydx/dy=d[g^{-1}(y)]/dy,那么YY的pdf为 fY(y)

2017-03-19 20:15:11 1023 2

翻译 漫步数学分析番外六(上)

定理1\textbf{定理1} 令AA是RnR^n中的开集并且假设f:A→Rmf:A\to R^m在x0x_0处可微,那么Df(x0)Df(x_0)是由ff唯一确定。证明:\textbf{证明:}令L1,L2L_1,L_2是满足定义1的两个线性映射,我们必须说明L1=L2L_1=L_2。固定e∈Rn,∥e∥=1e\in R^n,\Vert e\Vert=1,对λ∈R\lambda\in R令x=x0

2017-03-19 19:24:08 696

翻译 漫步数理统计十——连续随机变量(上)

上篇文章我们讨论了离散随机变量,在统计应用中还有一个非常重要的随机变量,那就是这里要讲的连续随机变量。定义1:\textbf{定义1:}对于某个随机变量,如果它的累加分布函数FX(x)F_X(x)对于所有的x∈Rx\in R都是连续的,那么我们称其为连续随机变量。回忆一下之前讲过的,对于任意的随机变量X,P(X=x)=FX(x)−FX(x−)X,P(X=x)=F_X(x)-F_X(x-),因此对于一

2017-03-18 23:33:16 1315

翻译 漫步数学分析三十七——极大值与极小值

定理10有一个非常重要的应用,它给我们提供了确定函数极大值与极小值的方法。我们期望从单变量函数的相关知识来得出二阶导数的判定准则,所以我们先回顾一下实变量实况。如果f:R→Rf:R\to R在x0x_0处有一个局部极大或极小,并且ff在x0x_0处可微,那么f′(x0)=0f^\prime(x_0)=0。更进一步,如果ff 二次连续可微,并且若f′′(x0)<0f^{"}(x_0)<0,那么x0x_

2017-03-18 23:02:14 3707

翻译 漫步数学分析三十六——泰勒定理

我们讨论一般函数f:A⊂Rn→Rmf:A\subset R^n\to R^m的泰勒公式,为此我们首先讨论高阶导数。对于f:Rn→Rf:R^n\to R,定义高阶偏导没有问题;我们仅仅迭代偏导的过程 ∂2f∂x1∂x2=∂∂x1(∂∂x2f)\frac{\partial^2f}{\partial x_1\partial x_2}=\frac{\partial}{\partial x_1}\left

2017-03-17 19:17:03 1667

翻译 漫步数学分析三十五——均值定理

我们现在考虑两个非常重要的定理,也就是均值定理与泰勒(Taylor)定理。首先,我们考虑均值定理,我们先回顾一下基本微积分中的均值定理,如果f:[a,b]→Rf:[a,b]\to R是连续的,在(a,b)(a,b)上可微,那么存在点c∈(a,b)c\in(a,b)使得f(b)−f(a)=f′(c)(b−a)f(b)-f(a)=f^\prime(c)(b-a),其中f′=df/dxf^\prime=d

2017-03-16 20:29:37 7969

翻译 漫步数理统计九——离散随机变量

定义1:\textbf{定义1:}对于一个随机变量,如果它的空间要么有限,要么可数,那么我们称其是一个离散随机变量。对于集合D\mathcal{D},如果它的元素是可列的,那么我们称这个集合是可数的;例如在D\mathcal{D}与正整数之间存在一个一一对应的关系。例1:\textbf{例1:}考虑抛硬币产生的独立序列,每个结果要么是头(H)(H)要么是尾(T)(T)。进一步,在每次抛的过程中,我们

2017-03-16 20:21:45 809

翻译 漫步数理统计八——随机变量(下)

接下来考虑离散随机变量的累加分布函数。例2:\textbf{例2:}考虑例1,XX的空间是D={2,…,12}\mathcal{D}=\{2,\ldots,12\},如果x<2x<2,那么FX(x)=0F_X(x)=0,如果2≤x<32\leq x<3,那么FX(x)=1/36F_X(x)=1/36,依次递推,我们可以看到XX的cdf是一个递增的阶梯函数,如图1。给定FX(x)F_X(x),我们可以

2017-03-15 22:34:51 609

翻译 漫步数学分析三十五——乘法法则与梯度

微分中另一个有名的法则是乘法法则或莱布尼兹法则。定理6\textbf{定理6} 令A⊂RnA\subset R^n是开集,f:A→Rm,g:A→Rf:A\to R^m,g:A\to R是可微函数,那么gfgf是可微的并且对于x∈A,D(gf)(x):Rn→Rmx\in A,D(gf)(x):R^n\to R^m为D(gf)(x)⋅e=g(x)(Df(x)⋅e)+(Dg(x)⋅e)f(x)D(gf)(

2017-03-15 19:04:50 4417

翻译 漫步数学分析三十四——链式法则

求导中最重要的一个方法是链式法则,例如为了求(x3+3)6(x^3+3)^6的导数,我们令y=x3+3y=x^3+3,首先求y6y^6的导数,得到6y56y^5,然后乘以x3+3x^3+3的导数得到最终的答案6(x3+3)53x26(x^3+3)^53x^2,对多变量函数来说存在同样的处理过程。例如如果u,v,fu,v,f是两个变量的实值函数,那么 ∂∂xf(u(x,y),v(x,y))=∂f∂u

2017-03-14 19:26:17 2502

翻译 漫步数理统计七——随机变量(上)

读者可能会有这样的感受,如果样本空间C\textbf{C}中的元素不是数的话,描述起来非常麻烦,现在我们就形式化一个规则或者一组规则,根据这些规则,C\textbf{C}中的元素cc可以用数来表示。首先讨论最简单的情况,考虑掷硬币的随机试验,样本空间是C={c:其中c是T或者c是H}\textbf{C}=\{c:\text{其中}c\text{是}T\text{或者}c\text{是}H\},T,H

2017-03-13 23:58:25 919

翻译 漫步数学分析三十三——可微的条件

因为雅克比矩阵给出了有效的计算方法,因此我们知道通常的偏导存在就意味着导数DfDf存在。不幸的是这结论在一般情况下是不成立的,例如将f:R2→Rf:R^2\to R 定义为y=0,f(x,y)=x;x=0,f(x,y)=y;y=0,f(x,y)=x;x=0,f(x,y)=y;其余情况下f(x,y)=1f(x,y)=1,那么∂f/∂x,∂f/∂y\partial f/\partial x,\parti

2017-03-13 22:54:04 4872

翻译 漫步数理统计六——条件概率与独立(下)

例5:\textbf{例5:}瓶C1C_1中有3个红球,7个白球,瓶C2C_2中有8个红球,2个白球,这些球大小与形状都是一样的,现在假设选择瓶C1C_1的概率为P(C1)=26P(C_1)=\frac{2}{6},而选C2C_2的概率为P(C2)=46P(C_2)=\frac{4}{6}。选完瓶子后我们随机抽一个球,抽到红球的事件用CC表示,显然条件概率P(C|C1)=310,P(C|C2)=81

2017-03-12 23:18:09 633

翻译 漫步数学分析三十二——可微映射的连续性

对于单变量实值函数而言,f:(a,b)→Rf:(a,b)\to R在x0x_0处可微,那么 limx→x0(f(x)−f(x0))=limx→x0(f(x)−f(x0)x−x0)⋅(x−x0)=f′(x0)⋅limx→x0(x−x0)=f′(x0)⋅0=0\begin{align*}\lim_{x\to x_0}(f(x)-f(x_0))&=\lim_{x\to x_0}\left(\frac

2017-03-12 18:49:43 1390

翻译 漫步数学分析三十一——矩阵表示

定义2\textbf{定义2} ∂fj/∂xi\partial f_j/\partial x_i存在的话,定义如下: ∂fj∂xi(x1,…,xn)=limh→0{fj(x1,…,xi+h,…,xn)−fj(x1,…,xn)h}\frac{\partial f_j}{\partial x_i}(x_1,\ldots,x_n)=\lim_{h\to 0}\left\{\frac{f_j(x_1,\

2017-03-11 19:42:44 770

翻译 漫步数学分析三十——导数的定义

对单变量函数f:(a,b)→Rf:(a,b)\to R,我们称ff在x0∈(a,b)x_0\in(a,b)处可微,如果极限 f′(x0)=limh→0f(x0+h)−f(x0)hf^\prime(x_0)=\lim_{h\to 0}\frac{f(x_0+h)-f(x_0)}{h}存在。我们也将f′(x)f^\prime(x)写成df/dxdf/dx。等价地,我们可以将上面的公式写成 lim

2017-03-10 19:45:24 1491

翻译 漫步数理统计五——条件概率与独立(上)

对某些随机试验,我们只对样本空间C\mathcal{C}子集C1C_1 中的元素感兴趣,这就意味着样本空间只要是子集C1C_1就够了,接下来问题就是如何在C1C_1这个新样本空间上定义概率集合函数。定义在样本空间C\mathcal{C}上的概率集合函数是P(C)P(C),C1C_1是C\mathcal{C}的子集且满足P(C1)>0P(C_1)>0。我们现在考虑随机试验的结果只是C1C_1中的元素;

2017-03-09 23:30:56 1004 2

翻译 漫步数学分析番外五(下)

接下来我们不证明定理10,而是更加一般的结论。定理10′\textbf{定理10}^\prime 令XX是一个完备度量空间,令T:X→XT:X\to X是一个压缩映射:d(T(x),T(y))≤λd(x,y)d(T(x),T(y))\leq\lambda d(x,y),其中0≤λ<10\leq\lambda<1是一个不动的常数,那么TT是连续的且有唯一的一个不动点。证明:\textbf{证明:}可以

2017-03-09 20:17:21 563

翻译 漫步数学分析番外五(上)

定理1\textbf{定理1} 令fk:A→Rmf_k:A\to R^m是连续函数并且假设fk→ff_k\to f(一致),那么ff是连续的。证明:\textbf{证明:}因为fn→ff_n\to f一致收敛,所以给定ε>0\varepsilon>0,我们可以扎到NN使得k≥Nk\geq N意味着对所有的x∈Ax\in A不等式∥fk(x)−f(x)∥<ε/3\Vert f_k(x)-f(x)\Ve

2017-03-08 20:09:51 438

翻译 漫步数学分析二十九——幂级数

本篇文章我们介绍无限级数的相关理论,我们先从幂级数开始。定义5\textbf{定义5} 幂级数就是形如Σ∞k=0akxk\Sigma_{k=0}^\infty a_kx^k的级数,其中系数aka_k是固定的实(或虚)数,令 limk→∞sup|ak|−−−√k=1R\lim_{k\to\infty}\sup{\sqrt[k]{|a_k|}=\frac{1}{R}}RR称为幂级数的收敛半径,{x

2017-03-07 22:17:36 1131

翻译 漫步数理统计四——概率集合函数(下)

例3:\textbf{例3:}C\textbf{C}被分成kk个两两不相交的子集C1,C2,…,CkC_1,C_2,\ldots,C_k,并且这kk个子集的并是C\textbf{C},那么事件C1,c2,…,CkC_1,c_2,\ldots,C_k是相互互斥且是穷举的。假设某个随机试验满足这样的特性,并且事件Ck,i=1,2,…,kC_k,i=1,2,\ldots,k概率相同,即P(Ci)=1/k,

2017-03-06 23:34:19 1207 1

翻译 漫步数学分析二十八——狄利克雷与阿贝尔测试

在我们判断一致收敛的时候,某些情况下魏尔斯特拉斯M测试会失效,为此挪威数学家尼尔斯阿贝尔(Niels Abel)以及狄利克雷(Dirichlet)分别提出了两种测试方法,这些方法对许多实例都是非常有用的,尤其是研究傅里叶与幂级数的时候,当我们碰到一致收敛却不是绝对收敛的时候,这些方法非常重要。定理13\textbf{定理13}(阿贝尔测试) 令A⊂Rm,φn:A→RA\subset R^m,\var

2017-03-06 19:47:39 1488

翻译 漫步数理统计三——概率集合函数(上)

令C\mathcal{C}表示样本空间,那么事件集应该是什么呢?我们感兴趣的是给事件、事件的补、事件的并或交分配概率,因此我们希望事件集包含这些事件的组合,这样的事件集称为C\mathcal{C}子集的σ\sigma域,定义如下:定义1:\textbf{定义1:}(σ\sigma域)令B\mathcal{B}表示C\mathcal{C}子集的集合,如果ϕ∈B\phi\in\mathcal{B}(B

2017-03-05 23:10:55 4003

翻译 漫步数学分析二十七——Stone-Weierstrass定理

在讨论连续函数与一致收敛时,最基本的两个结论是上篇文章讨论的Arzela-Ascoli定理以及本文要讨论的斯通-魏尔斯特拉斯(Stone-Weierstrass)定理。斯通-魏尔斯特拉斯定理主要是为了说明任何连续函数都可以用更简单的函数来一致逼近,像多项式。这样的多项式近似技术在理论以及数值计算中非常重要。我们先从实轴上特殊情况的结论开始,它首先是被魏尔斯特拉斯证明的,但是我们这里用伯恩斯坦(Ber

2017-03-05 21:04:33 20991 1

翻译 漫步数理统计二——集合论

对象集合的概念通常还未定义,然而可以描述特定的集合使得我们考虑的对象集合没有歧义。例如前10个正整数的集合就非常清楚,34,14\frac{3}{4},14均不在这个集合中,而3在这个集合中。如果对象属于这个集合,我们就说它是集合的元素,例如如果CC表示0≤x≤10\leq x\leq 1的xx集合,那么34\frac{3}{4}就是集合CC的一个元素,34\frac{3}{4}是集合CC的一个元素

2017-03-03 23:24:50 1050

翻译 漫步数学分析二十六——积分方程与不动点

在许多物理问题中,我们会遇到积分方程;他们的形式如下 f(x)=a+∫x0k(x,y)f(y)dy(1)\begin{equation}f(x)=a+\int_0^x k(x,y)f(y)dy\tag1\end{equation} 其中a=f(0),ka=f(0),k已经给定,我们假设kk是连续的。例如f(x)=aexf(x)=ae^x就是微分方程df/dx=f(x)df/dx=f(x)的解

2017-03-03 21:46:40 1279

翻译 漫步数理统计一——绪论

许多调查可以由部分进行表征,前提是基于以下事实:在基本相同的条件下,重复进行的试验或多或少是标准的程序。 例如,在医学研究中关注点集中于待使用药物的效果;或对经济学家而言,关注的可能是三种指定商品在不同时间的价格;或对农艺师而言,可能想研究化肥对谷物产量的影响。调查人员获得此类信息的唯一方法就是进行实验。每个实验都会产生一个结果,但这些试验的特点是在实验进行之前我们无法进行预测。假设我们有这样一个试

2017-03-03 00:05:37 1622 5

翻译 漫步数学分析二十五——等连续函数

定义4\textbf{定义4} 令B⊂ℓ(A,Rm)B\subset \ell(A,R^m),我们称BB是函数的等连续(equicontinuous)集合,如果对于每个ε>0\varepsilon>0,存在δ>0\delta>0使得如果x,y∈Ax,y\in A,那么d(x,y)<δd(x,y)<\delta 意味着对所有的f∈B,d(f(x),f(y))<εf\in B,d(f(x),f(y))<

2017-03-02 20:51:31 685

翻译 漫步数学分析二十四——连续函数空间

固定集合A⊂RnA\subset R^n并且考虑所有函数f:A→Rmf:A\to R^m的集合VV,那么VV可以看成一个向量空间。在VV中,零向量就是对于所有的x∈Ax\in A函数等于0的函数。另外对于每个λ∈R,f,g∈V\lambda\in R,f,g\in V,我们定义(f+g)(x)=f(x)+g(x),(λf)(x)=λ(f(x))(f+g)(x)=f(x)+g(x),(\lambda

2017-03-01 19:46:12 11979

凸集代数(algebra of convex sets)

本片文档主要介绍了凸集的一些保凸代数运算,像加法,标量乘法,直和,线性变换,逆线性变换和逆加法等。

2016-11-30

凸集和凸锥(convex sets and cones)

本文主要介绍了凸包,凸组合,凸锥的概念以及相关运算

2016-11-29

仿射集(affine sets)

该文档介绍了凸分析中与仿射集相关的基础概念及一些定理,像仿射组合,仿射无关,仿射变换,还有超平面的概念。

2016-11-25

矩阵逆和转置

本文档介绍了线性代数中矩阵的逆和转置,以及求逆的方法。

2016-09-08

三角分解和行变换

本文档介绍了线性代数中的三角分解,A=LU以及行变换得到的置换矩阵。

2016-09-08

矩阵符号和矩阵乘法

本文档介绍了线性代数中线性方程的矩阵形式,还有高斯消元法的矩阵形式,以及矩阵乘法等。

2016-09-08

余弦和投影

本文档主要介绍线性代数中余弦和投影的相关知识,其中还涉及到投影矩阵和内积。

2016-09-08

投影和最小二乘

本片文章主要介绍线性代数中投影和最小二乘的相关知识,并且还会介绍投影矩阵以及加权最小二乘法。

2016-09-08

正交基和格拉姆-施密特正交化

本片文章主要介绍了线性代数里面的正交解以及格拉姆-施密特正价化的起因与求解过程,另外简单介绍了傅里叶级数的相关知识。

2016-09-08

数学方法论选讲

该文档是徐利治先生关于数学方法论的介绍和讲解。作者选了十个公认比较有趣的专题,对他们分别作了介绍、分析和讨论。这些内容,相信对从事数学或数理哲学的科研工作者和教师们会有一定的参考价值。

2015-11-16

error_ellipse

二维空间协方差矩阵可视化为一个误差椭圆的matlab和C++代码,C++代码应用到了opencv的库函数,所以如果需要运行这个代码需要配置opencv环境。

2015-05-23

主成分分析的matlab代码

PCA如何来进行降维 %% This script generates and plots 3D data, and performs a principal %% component analysis to decorrelate the data, and to reduce the %% dimensionality of the feature space. % Note that matlab has an optimized function to perform PCA: princomp() % However, in this script we perform PCA manually by calculating the % eigenvectors, for demonstration/educational purposes.

2015-05-22

模式识别和机器学习

这是模式识别和机器学习比较好的文章,知识点比较丰富,是比较全面的入门教材。

2015-05-06

贝叶斯定理实例

这个文件是关于贝叶斯定理的两个实例,通过数据来更加的直观理解贝叶斯定理。

2015-05-06

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除