机器学习
文章平均质量分 90
嘿嘿嘿
此方家的空腹
这个作者很懒,什么都没留下…
展开
-
从函数空间的角度重新理解傅里叶变换
深刻理解傅里叶原创 2023-03-24 20:23:54 · 1920 阅读 · 2 评论 -
矩阵分析(2)--正规矩阵、正交矩阵
正规矩阵正规矩阵是很重要也很特殊的一类矩阵,因为它能使得谱定理成立,也一定能够酉相似对角化在数学中,正规矩阵 (英语: normal matrix) A\mathbf{A}A 是与自己的共轭转置满 足交换律的实系数方块矩阵,也就是说, A\mathbf{A}A 满足A∗A=AA∗\mathbf{A}^{*} \mathbf{A}=\mathbf{A} \mathbf{A}^{*}A∗A=AA∗其中 A∗\mathbf{A}^{*}A∗ 是 A\mathbf{A}A 的共轭转置。如果 A\mat原创 2022-02-02 23:23:56 · 3816 阅读 · 0 评论 -
矩阵分析(1)--一些基本概念
线性变换与矩阵一个线性变换与一个矩阵相对应例如,设有线性空间V1和V2,T为V1到V2上的某个线性变换,则有一个矩阵A与变换T对应如何确定这个线性变换对应的矩阵?方法如下:设{ei{e_i}ei}为V1的n个基设{fjf_jfj}为V2的m个基T:V1⟶V2T: V_1\longrightarrow V_2T:V1⟶V2对每个eie_iei进行线性变换即Te1=a11f1+a21f2+…+am1fmTe2=a12f1+a22f2+…+am2fm\begin{aligned}&a原创 2022-01-29 16:45:02 · 2049 阅读 · 0 评论 -
随机过程总结(5)--Markov过程与高斯过程
参考Markov过程高斯过程原创 2022-01-27 17:46:34 · 1540 阅读 · 0 评论 -
随机过程总结(4)--泊松过程
泊松过程因为状态离散,因而不再用相关函数来进行刻画,转而用概率进行刻画。其严格定义此处不赘述,很容易查到,概括如下泊松过程的条件对于一个记数过程N(t),满足下面四个条件时称之为泊松过程N(0)=0N(t)为独立增量过程N(t)为平稳增量过程N(t)有稀疏性,即在一个充分小的时间段Δt\Delta tΔt内,不可能记数两次对一个二项分布,它有参数n和参数p,当p很小而n很大时,二项分布会变成泊松分布。泊松分布的刻画是: 等待一个稀有事件的发生。从而对于泊松过程来说,"跳动"就是一个稀有原创 2022-01-27 17:31:47 · 3157 阅读 · 0 评论 -
随机过程总结(3)--一些非平稳过程
平稳过程与一些非平稳过程平稳过程常用的概念是宽平稳过程(WSS),宽平稳过程要求该过程的一阶矩和二阶矩不时变,即:E{x(t)}=mx(t)=mx(t+τ)∀τ∈R\mathbb{E}\{x(t)\}=m_{x}(t)=m_{x}(t+\tau) \forall \tau \in \mathbb{R}E{x(t)}=mx(t)=mx(t+τ)∀τ∈RE{x(t1)x(t2)}=Rx(t1,t2)=Rx(t1+τ,t2+τ)=Rx(t1−t2,0)∀τ∈R\mathbb{E}\left\{x\le原创 2022-01-25 22:24:26 · 1759 阅读 · 0 评论 -
随机过程总结(2)--相关分析和谱分析
这部分总结简单总结下随机过程的时域分析和谱分析相关函数的性质对称性: 这是因为内积有对称性RX(t,s)=RX(s,t)R_X(t,s)=R_X(s,t)RX(t,s)=RX(s,t)Cauchy-Schwarz不等式∣⟨u,v⟩∣2≤⟨u,u⟩⋅⟨v,v⟩|\langle\mathbf{u}, \mathbf{v}\rangle|^{2} \leq\langle\mathbf{u}, \mathbf{u}\rangle \cdot\langle\mathbf{v}, \mathb原创 2022-01-24 23:43:00 · 903 阅读 · 0 评论 -
随机过程总结(1)--一些基本概念
随机过程总结(1)–一些基本概念随即过程的定义直观定义随机过程是一组依赖于实参数t的随机变量,这个实参数可以取连续值也可以离散,记为{X(t),t∈R}\{ X(t) ,t\in \mathbb R \}{X(t),t∈R} 或{X(n),n∈N}\{X(n), n \in \mathbb N\}{X(n),n∈N}Remark:Remark:Remark:随机过程中的过程二字,暗示了这个参数t通常表明的是时间随机过程可以看作是一组随机变量(r.v.)由一种index串起来,这个index就是原创 2022-01-23 21:37:17 · 4428 阅读 · 0 评论 -
罚函数法总结
处理有约束的优化问题时,一种常见的处理方法是: 将约束条件作为惩罚项加到目标函数中。"惩罚"是一个很形象的称呼,意思是优化过程迭代到约束条件之外时给与惩罚,或者说负反馈。例如,我们在处理最小化函数值fff时,在f中增加一些项,这些项会使得迭代点在可行域之外时,增大函数f的值,这些项就起到了惩罚的作用这些约束条件可以是等式,也可以是不等式,又或者是两者都有。在处理等式约束时,常常使用外点罚函数法,意思是迭代点允许在可行域之外(其实非常自然,因为等式约束是一种"很严格"的约束,迭代不要限制地太紧了,不然都不原创 2021-11-10 14:35:01 · 7481 阅读 · 0 评论 -
牛顿法求极值
牛顿法求极值无约束优化算法可以分为线搜索类算法与信赖域类算法两类,他们都是对f(x)f(\bold x)f(x)在局部进行近似,前者用得更加普遍。而线搜索类算法根据搜索方向选择的不同可以分为梯度算法、牛顿算法、拟牛顿算法、拟牛顿算法等本文目的是介绍牛顿法。平常我们说牛顿法,一般指的是用牛顿法求方程根,因而先复习牛顿法求根的原理,然后扩展到用牛顿法求极值,再进一步扩展到多元函数牛顿法求极值1. 一元函数牛顿法求根复杂方程的根很难直接求得,最开始用牛顿法迭代来求方程的根。方法是给 一个初值 x1x_{1原创 2021-10-05 20:47:08 · 1547 阅读 · 0 评论 -
pytorch中一个mnist数据集上的DCGAN示例
环境: python 3.7 + pytorch 1.0.1model.pyimport torchimport torch.nn as nnimport torch.nn.functional as Fdef init_weight(m): classname = m.__class__.__name__ if classname.find('Conv') != -1: m.weight.data.normal_(0., 0.02) elif class原创 2020-06-17 15:44:13 · 508 阅读 · 0 评论 -
正则化(regularization)总结
一.为什么需要正则化?简单来说,在使用神经网络时,为了增加模型的泛化能力,防止模型只在训练集上有效、在测试集上不够有效,我们使用正则化正则化是为了防止过拟合, 进而增强泛化能力。用白话文转义,泛化误差(generalization error)= 测试误差(test error)。也可以说是为了使得训练数据训练的模型在测试集上的表现(或说性能 performance)好不好二.正则化有哪...原创 2020-04-07 00:29:24 · 1645 阅读 · 0 评论 -
批标准化(Batch Normalization)总结
文章目录一. Batch & mini-batch二. 为什么要使用 Batch Nomalization三. 如何进行 normalization四. normalization 的好处与缺点优点:缺点:参考Batch Normalization是基于mini-batch进行的,所以在下文中我们首先复习一下mini-batch是怎么一回事,然后说明为什么需要进行Batch Normalizat...原创 2020-04-07 16:53:51 · 3299 阅读 · 0 评论 -
高斯混合模型(GMM)与最大期望(EM)算法学习笔记
下面内容是我在学习过程中对资料的一个个人总结,如有错误还希望指出Gaussian Mixture Model (GMM)。GMM 和 k-means 很像,不过 GMM 是学习出一些概率密度函数来(所以 GMM 除了用在 clustering 上之外,还经常被用于 density estimation ),简单地说,k-means 的结果是每个数据点被 assign 到其中某一个 clu...原创 2020-03-29 16:12:46 · 1875 阅读 · 0 评论 -
K最邻近(KNN)与支持向量机(SVM)学习笔记
KNN的介绍与实例K-近邻算法(KNN)概述最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来,当测试对象的属性和某个训练对象的属性完全匹配时,便可以对其进行分类。但是怎么可能所有测试对象都会找到与之完全匹配的训练对象呢,其次就是存在一个测试对象同时与多个训练对象匹配,导致一个训练对象被分到了多个类的问题,基于这些问题呢,就产生了KNN。KNN是通过测量不同特征值之间的距离进行分...原创 2020-03-21 22:43:08 · 4180 阅读 · 0 评论 -
Scikit-learn--一个完整的机器学习项目
一个机器学习项目应包含以下几步数据采集–>数据清洗–>生成/训练模型–>结果分析我们需要做的是数据清洗与生成/训练模型中间两部,再加上一些对模型的评价在进行机器学习项目之前,应至少掌握python编程基础与NumPy、MatplotLib、Pandas库以下代码全部在jupyter notebook中运行每个黑框代表一个jupyernotebook数据块引入数据...原创 2020-03-12 12:16:09 · 1485 阅读 · 0 评论