数学
文章平均质量分 90
在学习过程中遇到的所有数学问题
野指针小李
这个作者很懒,什么都没留下…
展开
-
论文中的小细节——为什么论文中总是写WX而不是XW?
这个问题我最开始回答的是这就是约定俗成的写法,因为我也确实没思考过这个问题,我估计大部分的人也没有思考过这个问题,后来我发现这个是个数学问题,而不是约定俗成的写法。第三点则是,大部分语种的阅读顺序是从左到右的,然而对于矩阵乘法,实际上是从右到左的读法。这是最近一个师弟问我的问题,为什么在论文里面总是写的。肯定是完全对的,不过这与大部分人的直觉都不同罢了。接着,我们要考虑矩阵的本质,矩阵的本质是一种。,即将一个空间中的向量按照一定的规则进行。而这只是一个举例的向量,实际上这个矩阵。当这个矩阵乘以一个向量。原创 2023-10-10 19:22:49 · 2545 阅读 · 0 评论 -
概率论与数理统计学习笔记(7)——全概率公式与贝叶斯公式
下图是本文的背景内容,小B休闲时间有80%的概率玩手机游戏,有20%的概率玩电脑游戏。这两个游戏都有抽卡环节,其中手游抽到金卡的概率为5%,端游抽到金卡的概率为15%。已知小B这天抽到了金卡,那么请问他是在手机上抽到的还是在电脑上抽到的?玩电脑占了20%的面积,玩手机占了80%的面积;贝叶斯公式是建立在我们已经知道结果的情况下,即我们知道小B已经抽到金卡的情况下,反推小B是玩电脑抽到金卡的概率和玩手机抽到金卡的概率。上述问题中,我们先考虑小B抽到金卡这件事的概率,设玩电脑的概率为。原创 2023-09-08 15:42:28 · 3271 阅读 · 0 评论 -
随机过程——离散时间马尔科夫链定义的通俗理解
由于随机过程中离散时间马尔科夫链定义很多,网上资源又过于零散,书上笔记也写得十分零碎,所以就写篇博客来记录一下这些定义的通俗理解。对了宝贝儿们,卑微小李的公众号【野指针小李】已开通,期待与你一起探讨学术哟~摸摸大!首达概率:fij(n)=P(Xn=j,Xk≠j,k=1,2,…,n−1∣X0=i)f_{ij}^{(n)}=\mathbb{P}(X_n=j, X_k \neq j, k = 1, 2, \dots, n - 1 | X_0=i)fij(n)=P(Xn=j,Xk=j,k=1,2,.原创 2021-06-21 11:16:09 · 3371 阅读 · 3 评论 -
概率论与数理统计学习笔记(6)——分布律,分布函数,密度函数
对了宝贝儿们,卑微小李的公众号【野指针小李】已开通,期待与你一起探讨学术哟~摸摸大!目录1 离散型随机变量1.1 (0-1)分布1.2 伯努利试验1.3 二项分布1.4 几何分布1.5 泊松分布2. 连续型随机变量2.1 分布函数与概率密度函数2.2 均匀分布2.3 指数分布2.4 正态分布2.4.1 标准正态分布2.4.2 一般正态分布References1 离散型随机变量离散型随机变量指的是取到的值时有限个或者可列无限多个的随机变量。有限个值很好理解,但是可列无限多个值就有点抠脑壳。这句话的含义就原创 2021-05-29 11:41:40 · 14578 阅读 · 0 评论 -
Word2Vec原理与公式详细推导
嗯,为了方便大家找到参考资料,我这里重新贴在最下面:[1]皮果提.word2vec中的数学原理详解(二)预备知识[EB/OL]. (2014-07-19)[2021-04-25]. https://blog.csdn.net/itplus/article/details/37969635[2]皮果提.word2vec中的数学原理详解(三)背景知识[EB/OL]. (2014-07-19)[2021-04-25]. https://blog.csdn.net/itplus/article...原创 2021-04-28 18:30:50 · 2075 阅读 · 19 评论 -
Word2Vec之Hierarchical Softmax与Negative Sampling
对了宝贝儿们,卑微小李的公众号【野指针小李】已开通,期待与你一起探讨学术哟~摸摸大!如果有需要Word2Vec原理与公式推导的同学可以移步:Word2Vec原理与公式详细推导。为了方便大家看参考资料,这里同样重新弄出来:[1]Rong Xin. word2vec Parameter Learning Explained[J]. CoRR, abs/1411.2738, 2014.[2]皮果提.word2vec 中的数学原理详解(四)基于 Hierarchical Softmax 的模原创 2021-05-03 22:04:29 · 688 阅读 · 0 评论 -
概率论与数理统计学习笔记(5)——极大似然估计
在机器学习与深度学习中,特别是"模型已定,参数未知"的情况下,普遍使用最大似然估计法学习参数。为了后面学习中能够找得到地方复习这些概率论知识,所以这里整理了极大似然估计的笔记,所有参考内容放在最后。对了宝贝儿们,卑微小李的公众号【野指针小李】已开通,期待与你一起探讨学术哟~摸摸大!目录1 似然与概率2 似然函数3 极大似然估计4 参考1 似然与概率似然(likelihood)与概率(probability)虽然经常在概率论中出现,但是我们看到两者名字是不同的,所以其含义是不同的。在我个人的知识.原创 2021-04-20 12:07:57 · 1232 阅读 · 0 评论 -
概率论与数理统计学习笔记(4)——贝叶斯公式
本文是我看3B1B的视频后的学习笔记,主要用于遗忘后可以翻看。相关的链接放在了最后。对了宝贝儿们,卑微小李的公众号【野指针小李】已开通,期待与你一起探讨学术哟~摸摸大!目录1 数学上证明贝叶斯公式1.1 预备知识1.2 数学证明2 贝叶斯公式直观理解2.1 问题提出2.2 贝叶斯公式的核心2.3 贝叶斯公式使用情况及计算方式2.3.1 使用情况2.3.2 计算方式3 贝叶斯公式启发4 参考1 数学上证明贝叶斯公式1.1 预备知识设事件A与事件B发生的概率为P(A)P(A)P(A)和P(B)P(.原创 2021-04-19 13:04:08 · 8551 阅读 · 0 评论 -
泰勒展开简单直观理解与常用公式
由于最近需要用到泰勒展开,所以这里整理一份泰勒展开常用的公式。宝贝儿们,卑微小李的公众号【野指针小李】已开通,期待与你一起探讨学术哟~摸摸大!目录1 泰勒展开简单直观理解2 常用的泰勒展开公式2.1 定义2.2 常用的公式(x→0x \rightarrow 0x→0)3 参考1 泰勒展开简单直观理解泰勒展开的核心思想是:用无穷多个多项式在某个点来逼近某个比较复杂的函数。这是一个近似或者说逼近的一个过程,直观的感受如下:详细的讲解的链接我会放在最下方,有需要的可以自提。同样还有一个大家经常用.原创 2021-01-05 09:11:12 · 17237 阅读 · 0 评论 -
GNN学习笔记(1)——信号与系统基础知识
本文主要是我在学习GNN的时候补充的信号与系统的内容,暂且本文的内容够用,如果后续还有那就后面补充。我看这部分内容没有做数学推导,主要是考虑在应用层面的内容,最主要的在于理解这是个什么东西。当然由于学无止境,我难免会有些东西理解的错误或者没有写明白的部分,希望各位多多指教。对了宝贝儿们,卑微小李的公众号【野指针小李】已开通,期待与你一起探讨学术哟~摸摸大!目录1 时域与频域1.1 时域1.2 频域1.3 时域与频域可视化解释2 复变函数3 傅里叶变换3.1 傅里叶变换简洁理解3.2 傅里叶变换图.原创 2020-12-15 20:24:35 · 1072 阅读 · 0 评论 -
信息传播学习笔记(1)——SIS模型原理与公式推导
本文是SIS模型的原理与公式推导,不涉及代码(后续补充)。对了宝贝儿们,卑微小李的公众号【野指针小李】已开通,期待与你一起探讨学术哟~摸摸大!目录1 背景2 SIS模型原理3 求解微分方程4 参考1 背景SIS模型是流行病学中的一个模型,流行病是具有传播效应的,能够在一个社会网络中进行传播(比如今年的疫情),在这个网络中,每个节点代表一个人,当两个人联系(建立边)的时候,疾病就有可能进行传播。而信息传播(information dissemination,也称信息扩散)也可以看作是流行病传播,.原创 2020-11-22 16:02:11 · 13963 阅读 · 14 评论 -
高等数学学习笔记(1)——微分方程解法公式
本文列举了微分方程的公式,当做一个笔记,如果后面有地方用得上就回来翻翻。当然本文是为了求解模型中用得上的微分方程而书写的,并非是为了考研或者本科课程应试,所以不会有例题,只会有对应的解法。同时公式和解法不一定是完全的,后面如果还遇到了到时候再进行补充。对了宝贝儿们,卑微小李的公众号【野指针小李】已开通,期待与你一起探讨学术哟~摸摸大!目录1 微分方程2 一阶方程2.1 一阶线性微分方程2.2 变量可分离2.3 齐次方程2.4 伯努利方程2.5 全微分方程3 高阶方程3.1 可降解方程3.1.1 y.原创 2020-11-22 14:28:11 · 112317 阅读 · 5 评论 -
情感分析学习笔记(5)——PolarityRank算法原理讲解
本文参考的是两篇论文(Fernández-Gavilanes et al., 2016; Cruz et al., 2011)以及PageRank算法(Page et al., 1998)由于找了一圈没有找到相关的代码,所以是我参考pagerank的实现过程以及论文自己手撸的代码,所以不一定保证效率与正确率,而且我测试也只用了positive的一条语句进行测试,没有测试过negative的和混合的,所以如果有问题,属实正常。本文与SO-PMI算法一样,不会公开任何数据集,但是我会留下数据集的获取方式。.原创 2020-11-19 15:03:37 · 3824 阅读 · 2 评论 -
机器学习学习笔记(3)——量纲与无量纲,标准化、归一化、正则化
量纲、无量纲,标准化、归一化、正则化是我百度了很多次都不进脑子的知识,所以我决定还是放在博客上面。不过鉴于我查阅了很多资料,说是有许多的坑,所以我也不清楚我的理解和解释是否是坑,具体的就留给各位来帮忙评判了!目录1 量纲与无量纲1.1 量纲1.2 无量纲2 标准化3 归一化4 正则化5 总结6 参考1 量纲与无量纲1.1 量纲量纲我觉得最重要的一句话是:物理量的大小与单位有关。从这句话我们来思考下最核心的两个单词:大小、单位。就是说量纲是有两部分组成:数、单位。就比如1块钱和1分钱,就是两个.原创 2020-10-30 12:08:27 · 7128 阅读 · 4 评论 -
概率论与数理统计学习笔记(3)——Pearson相关系数与Spearman相关系数
这是我在阅读论文《Creating emoji lexica from unsupervised sentiment analysis of their descriptions》看到的性能评价中的一部分,不得不说Q1就是Q1。本文主要是讲解下何为Pearson相关系数,Spearman相关系数,以及相应的代码实现。(代码是我根据公式自己封装的,所以:1. 性能肯定没有Tensorflow那些框架的性能好; 2. 有可能会有问题)目录1 Pearson相关系数1.1 协方差1.2 相关系数2 Spe.原创 2020-10-26 20:39:19 · 3414 阅读 · 0 评论 -
TensorFlow学习笔记(1)——标量、向量、矩阵、张量
从开始做NLP开始,不知道接触过这几个概念多少次,也不知道百度过多少次,每次都会选择性遗忘,所以这一次就写一份统一的笔记用作记录。在这里感谢我阔耐温柔贤惠大方美丽的同桌给我分享了一份她的笔记!在这篇文章中,我争取以一个计算机学生的视角来讲解该知识。作为一个非数学非物理的计算机科班出身再加上数二72分的辣鸡程序员来说,我最开始以为这一坨是很深奥,很复杂的内容,尤其是在你百度张量的时候,如果不加上“计算机”作为限定语,会是这样的:嗯,右下角是我。当时我还以为这是一个多么复杂,多么高深的问题,然后.原创 2020-10-15 21:19:24 · 2112 阅读 · 3 评论 -
概率论与数理统计学习笔记(2)——联合概率、条件概率与边缘概率
这篇文章主要是从一个直观的概念上讲解联合概率、条件概率与边缘概率。主要是之前看了篇论文,用的SO-PMI算法,然后我就恶补了一下联合概率。本篇博客采用的参考书是《程序员的数学2概率统计》。目录联合概率边缘概率条件概率参考这里先画一个程序员的数学上面的图,方便后续阐述,图没有书上那么好看,凑合一下:红色部分代表住宅,白色部分代表工厂,蓝色部分代表农田。左边是A县,中间是B县,右边是C县。我发现国外的内容,关于概率这一块都是以面积等直观的东西来描述的,并非是纯粹的数字,我现在也在尝试从数字.原创 2020-10-08 22:23:52 · 1591 阅读 · 4 评论 -
神经网络学习笔记(5)——BP算法代码讲解
其实我很不愿意写这篇文章的,主要是我代码没跑通!没跑通!没跑通!对于我一个多月没敲过代码后敲的第一份代码来说打击感巨大。但是想了想之前两篇文章都说了国庆要写一篇……然后我的完美主义犯了……代码没跑通其实真不是我的原因,因为书上代码是错的……一方面是书上用python2写的,我是python3环境,第二方面是代码中的公式错了……这个代码我用了3天时间,推了整整3页草稿纸,又向师兄请教了两天,最后发现,好像代码真的错了……嗯……开始正文前我还是放出我公式推导的草稿纸……这是其中一页,然后原谅我计算机.原创 2020-10-08 15:55:07 · 1578 阅读 · 3 评论 -
神经网络学习笔记(4)——期望与算术平均值的区别、方差与均方误差的区别
本来说直接看BP算法的代码的,但是看书的时候又确实遇到了这两个东西,所以就先记上这么一个学习笔记。虽然这种纯数学的东西放在神经网络的学习笔记中好像也不太对,但是确实是学习神经网络的时候遇到的,所以就勉强记录在内。目录期望与算数平均数方差与均方误差期望与算数平均数无论是期望还是算数平均数,从大的概念来说都是求的一个均值,不过建立在的不同的基础上。我们来看一个样本数为100的样本集合{(x1,p1),(x2,p2),⋅⋅⋅,(x100,p100)}\{(x_1,p_1),(x_2,p_2),···.原创 2020-10-05 12:48:39 · 4268 阅读 · 0 评论 -
神经网络学习笔记(3)——梯度下降公式讲解与反向传播算法
结合上上两篇文章的叙述,这一篇文章主要讲解梯度的公式的推导,笔记来自于3B1B的视频,链接会放在最后。同样的,这一篇文章依旧没有代码。上篇文章中稍稍写漏了点东西,就是说在梯度下降过程中,步长是与该点的斜率有关,如果无关的话,那么如果步长太大,是不是就从坑中心滚过去了呀?比如这样:下面开始正文。每层只有一个神经元根据上篇文章的内容,梯度会有正有负,代表的意思就是这个点该如何移动。而每一项的相对大小告诉了改变哪个值影响更大。如下图所示:由于在神经网络中,我们的经验风险是在最后一步才求得的,那.原创 2020-10-02 22:30:45 · 911 阅读 · 0 评论 -
神经网络学习笔记(2)——代价函数与梯度下降简介
同样的,这篇还是纯理论,不涉及代码部分。有些地方我也没有深究,所以有可能会有错误,如有错误,请麻烦指正。目录代价函数梯度下降梯度偏导数方向导数公式:参考结合上篇文章的内容,我们不妨来想一下,在最开始的时候,整个网络是混乱的,那么我们要怎样才能找到最合适的权重和偏置呢?由于神经网络是需要学习的,所以学习的过程就是找到最合适的权重和偏置。于是我们就要引入代价函数。代价函数继续借用3B1B的栗子,假设我们输入的图片是手写的3,想要获得的结果是3,输出层灰度值与期望值如下:代价(cost)也称作.原创 2020-10-02 15:37:59 · 646 阅读 · 0 评论 -
概率论与数理统计学习笔记(1)——t检验与P值
本文是我在看论文的时候遇到的评价模型的两个评价指标,所以就整理了这么一份学习笔记,本文不会涉及相关的公式(如果后续深入学习的时候用上了再补充),主要讲解的是T检验与P值的理解。目录一、t检验二、P值与两类错误1. P值2. 两类错误三、参考一、t检验这一节我就是个农夫山泉,就是一个搬运工,至少现在没有太多的理解,所以我就把我觉得写得比较好的内容搬运过来,具体的链接会放在参考里面。关于T检验(t-test),是一种适合小样本的统计分析方法,通过比较不同数据的均值,研究两组数据是否存在差异。T.原创 2020-09-15 18:38:43 · 7446 阅读 · 0 评论 -
线性代数的本质(3)——映射、对角化、特征值与特征向量
这是我写的关于线性代数的第三篇文章,这些内容与前两篇文章的内容有很多的关联,如果不太了解行列式、线性变换的同学可以先看看我之前写的两篇文章,跳转链接如下:《线性代数的本质(1)——基底、向量、线性变换、逆阵、行列式》、《线性代数的本质(2)——线性相关/无关、秩、伴随矩阵、线性方程组、核、像》。这里还是要强调两点:这是我个人的总结与理解,如果有错误的地方请理解,也麻烦指出我的错误,谢谢;这篇文章不是以应试为目的的,而是在于讲解线性代数的本质,如果是只想学会怎样计算的同学可以不用浪费时间了。目.原创 2020-08-29 11:12:53 · 4157 阅读 · 0 评论 -
线性代数的本质(2)——线性相关/无关、秩、伴随矩阵、线性方程组、核、像
本篇文章的内容是基于上一篇文章的内容来的,所以没看过上篇文章的同学可以先看看上篇文章《线性代数的本质(1)——基底、向量、线性变换、逆阵、行列式》本篇文章的内容主要是线性相关/无关、秩、伴随矩阵、线性方程组、核与像,我这里也是翻来覆去看了几遍尤其是秩后面这几个东西,所以很有可能理解的不到位,或者直接出现错误,希望各位能够多多包涵,并且提出宝贵的意见。再次强调,这篇文章不是以应试为目的的,而是在于讲解线性代数的本质,如果是只想学会怎样计算的同学可以不用浪费时间了。目录一、线性相关/无关1. 线性相关.原创 2020-08-16 16:09:37 · 5732 阅读 · 3 评论 -
线性代数的本质(1)——基底、向量、线性变换、逆阵、行列式
我不知道多少人和我之前一样,在看到线性代数矩阵、向量之间的数值运算那些头发都要掉一圈。尤其是当我考研时考场上看到那两道线代题的时候人都傻了(20年数二)。但是在这考完后重新回来思考线性代数的本质的时候,发现这个真的是一个很有趣很奇妙的东西。这篇文章不是以应试为目的的,而是在于讲解线性代数的本质,如果是只想学会怎样计算的同学可以不用浪费时间了。当然由于本人水平有限,也还在漫漫求学路中,所以理解的可能不够透彻,解释的不够清楚,希望各位读者能够多多包涵,并提出宝贵的意见。目录零、基底一、向量与线性变换1.原创 2020-08-13 16:34:45 · 9262 阅读 · 1 评论 -
初学卷积——卷积的计算过程及应用场景
写在前面:因为本人初学科学计算这一块,这两天遇到了卷积的问题,有点琢磨不透,就了解了一下卷积的计算过程及使用场景,因为时间太短,这里只能写下一点点个人的心得体会,希望大家多多包函与指教。目录一、卷积公式二、卷积的翻转和平移1.卷积的翻转2.卷积的平移三、卷积的计算方法四、卷积的边缘效应五、卷积的实际意义六、convolve说明七、参考一、卷积公式由于还没学习到二维卷积,所以我们这里只进行一维卷积的讨论。离散卷积:离散的数据,就好比是我们平时的考试成绩(0,1,2,…,100),离散卷积的公.原创 2020-06-17 16:08:07 · 23208 阅读 · 2 评论