一个球的博客

本文对应的是吴恩达老师的CS229机器学习的第五课。这节课介绍了判别学习算法和生成学习算法，并给出了生成学习算法的一个实例：利用朴素贝叶斯进行垃圾邮件分类。判别学习(Discriminative Learning)与生成学习(Generative Learning)对于机器学习的任务，可以简单描述为：给定一个输入点 xxx，建立模型求其预测值 hθ(x)h_\theta(x)hθ​(x)。从...

本文对应的是吴恩达老师的CS229机器学习的第三课。这节课先介绍了牛顿法，然后给出了指数族的定义，并从指数族出发，介绍了广义线性模型并以此解释最小二乘、逻辑回归、softmax等模型的来源。牛顿法(Newton’s Method)牛顿法是另一种求解曲线零点的方法，其具体做法如果所示：从某一起始点 θ(0)\theta^{(0)}θ(0) 开始，找到其对应的函数值 f(θ(0))f(\thet...

本文对应的是吴恩达老师的CS229机器学习的第三课。这节课先介绍了

本专栏从吴恩达老师的CS229机器学习第二课开始。第二课主要讲解并推导了梯度下降的相关公式。为防止符号混淆，本文中 iii 表示样本序号，jjj 表示特征序号，nnn 表示样本数量，mmm 表示特征数量损失函数(loss function)简单起见，对于某一输入 xxx，假设我们用其各个特征的线性组合来预测 yyy，即预测函数为：h(x)=hθ(x)=θ0+θ1x1+θ2x2+⋯=∑j=...

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I...

本文主要罗列一下DFT的相关公式首先，不难将DFT写成矩阵形式，回忆之前的推导，DFT表达式为:Ff––––=∑n=0N−1f[n]––––ω––−nFf_=∑n=0N−1f[n]_ω_−n\underline{{\scr F}f} = \sum_{n=0}^{N-1} \underline{f[n]} \underline{\omega}^{-n}写成矩阵形式就是：⎡⎣...

我们先回忆一下DFTF––[m]=Ff––––[m]=∑k=0N−1f––[k]e−2πimkN(1)(1)F_[m]=Ff_[m]=∑k=0N−1f_[k]e−2πimkN\underline{F}[m] = \underline{{\scr F}f}[m] = \sum_{k=0}^{N-1} \underline{f}[k]e^{-2\pi i\frac{mk}{N}}\tag1我们...

不同于网上的直接推导离散傅里叶变换的方法，本文将从连续傅里叶出发，用采样近似的方法来推导出离散傅里叶变换推导的思路是：先对连续函数fff进行离散化操作，即采样，得到离散的点fsampledfsampledf_{sampled}。然后对其进行连续傅里叶变换，得到F(fsampled)F(fsampled){\scr F}(f_{sampled})，并其进行采样，得到离散的点(F(fsam...

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I...

本文先证明一个重要的引理：泊松求和公式，然后给出一个实例：一维晶体衍射，并在计算过程中引入Ш函数，并介绍Ш函数的一些性质。首先，我们先证明泊松求和公式：若为速降函数，则∑k=−∞∞φ(k)=∑k=−∞∞Fφ(k)(1)(1)∑k=−∞∞φ(k)=∑k=−∞∞Fφ(k)\sum_{k=-\infty}^{\infty}\varphi(k) = \sum_{k=-\infty}^{...

在第9部分学习笔记中，我们导出了分布傅里叶变换，用以解决普通傅里叶变换难以解决的一些问题。本文的内容就是在此基础上进一步进行讨论。首先是分布傅里叶变换的导数相关性质⟨T′,φ⟩=∫∞−∞T′(x)φ(x)dx=T(x)φ(x)|∞−∞−∫∞−∞T(x)dφ(x)⟨T′,φ⟩=∫−∞∞T′(x)φ(x)dx=T(x)φ(x)|−∞∞−∫−∞∞T(x)dφ(x)\begin{align...

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I...

在进行傅里叶变换的时候，我们发现，因为傅里叶变换的积分需要被积函数黎曼可积，即仅当fff可积时，才能计算出对应的FfFf{\scr F}f，然而在实际情况下会有很多函数是不可积的，比如之前提到的三角函数、矩形函数等等。因此就需要一个更普遍的傅里叶变换。在开始之前，我们先介绍一下由一般情况推广到广义情况的一种普遍的方法（不仅适用于傅里叶变换推广到广义，也适用于其他）1.找到一个测试函数测...

有关傅里叶变换有一个重要的定理，Parseval定理：∫∞−∞|Ff(s)|2ds=∫∞−∞|f(t)|2dt(1)(1)∫−∞∞|Ff(s)|2ds=∫−∞∞|f(t)|2dt\int_{-\infty}^{\infty} |{\scr F}f(s)|^2ds = \int_{-\infty}^{\infty} |f(t)|^2dt \tag 1Parseval定理是能量守恒的一种体...

本文的最重要的一个定理，中心极限定理（CLT）：任何函数多次与自身进行卷积运算之后，都会逼近某高斯分布，即limn→∞f(x)∗...∗f(x)=limn→∞f∗n(x)=12π−−√σe−(x−μ)22σ2limn→∞f(x)∗...∗f(x)=limn→∞f∗n(x)=12πσe−(x−μ)22σ2\lim_{n\to \infty} f(x)*...*f(x) = \lim_{n...

卷积性的一个应用实例：滤波装置在实际生活中，我们总会遇到很多需要过滤掉一定频率的场景，比如处理声音的时候我们希望删除背景杂音；对图像进行边缘检测的时候希望过滤掉低频部分等等，此时，滤波器就派上了用场。 所谓滤波器，其实就是用一个固定的函数或者信号对可变的输入信号进行卷积操作的仪器。 滤波器进行的操作：时域：g(t)=f(t)∗h(t)g(t)=f(t)∗h(t)g(t)=f(t)*h(...

在之前的文章中，我们详细讨论了傅里叶变换的推导，本文将推导在实际应用中十分常用的傅里叶变换的三个公式，分别对应傅里叶变换的时延性、伸缩性，以及卷积在傅里叶变换中的应用。 本文中，我们用f(t)f(t)f(t)来表示原函数，即函数的时域形式，F(s)F(s)F(s)来表示对应的傅里叶变换后的形式，即函数的频域形式。用f(t)⟷F(s)f(t)⟷F(s)f(t) \longleftrightarro...

在本文开始前，需要说明一点，以下推导出的各项公式，只是为了实际计算中方便，并不都有其对应的物理意义。首先，我们写出符号f−(t)=f(−t)f−(t)=f(−t)f^-(t) = f(-t)，显然，对于奇函数而言，f−=−ff−=−ff^- = -f；对于偶函数而言，f−=ff−=ff^- = f。 根据前文傅里叶变换推导，我们知道...

本文将运用傅里叶变换来解决数学物理方法中的问题假设我们有一个圆环，初始温度分布为f(x)f(x)f(x)，设U(x,t)U(x,t)U(x,t)为圆环在xxx位置，ttt时刻时的温度 显然U(x,0)=f(x)U(x,0)=f(x)U(x,0) = f(x) 为了便于计算，我们设绕圆环一周的总长度为111，则我们有：f(x+1)=f(x)f(x+1)=f(x)f(x+1) = f(x)，U...

矩形函数：Π(t)={1,|t|<120,|t|≥12Π(t)={1,|t|<120,|t|≥12 \Pi(t) = \begin{cases}1, \left\lvert t \right\rvertFΠ(s)=∫∞−∞e−2πistΠ(t)dt=∫12−12e−2πistdt=−12πise−2πist∣∣∣t=12t=−12=1πs(eπis−e−πi