- 博客(73)
- 收藏
- 关注
RSS订阅原创 自适应视图增强的谣言检测图对比学习方法
论文标题：Propagation Tree Is Not Deep: Adaptive Graph Contrastive Learning Approach for Rumor Detection论文链接：https://ojs.aaai.org/index.php/AAAI/article/view/27757论文来源：AAAI 2024一、概述现有的一些谣言检测研究表明，帖子的传播结构完全...
2024-04-26 14:47:15
554
原创 图神经网络中的谱图理论基础
一、图的拉普拉斯矩阵拉普拉斯算子拉普拉斯算子（Laplace Operator）是为欧几里德空间中的一个二阶微分算子，定义为梯度的散度，可以写作Δ,∇2,∇⋅∇\Delta ,\nabla ^{2},\nabla \cdot \nablaΔ,∇2,∇⋅∇这几种形式。如果函数fff是二阶可微的实函数，则fff的拉普拉斯算子可以写作：Δf=∇2f=∇⋅∇f\Delta f=\nabla ^{2}f=\nabla \cdot \nabla fΔf=∇2f=∇⋅∇f这里简单介绍一下散度的概念：散度（
2021-04-29 10:42:14
477
原创 傅里叶级数与傅里叶变换
本文有关三角函数的描述很多，忘记高中知识的可以从这个链接复习下各个概念：振幅、周期、相移和频率。一、从简单变换到傅里叶级数如下图所示，在笛卡尔坐标系中，由于我们定义了一组基ex=(1,0),ey=(0,1)e_x=(1,0),e_y=(0,1)ex=(1,0),ey=(0,1)，因此坐标系中的所有点才能够被一个坐标唯一地表示：这样的好处是有了坐标以后，点与点之间就不再是相互孤立的存在，也就有了距离的关系。这个过程就是一种变换，即把坐标变换到坐标系中。这种简单的变换是将空间中的点使用一组基来表示
2021-04-22 16:16:26
1284
原创 Informer：用于长序列时间序列预测的新型Transformer
论文标题：Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting论文链接：https://arxiv.org/abs/2012.07436代码链接：https://github.com/zhouhaoyi/Informer2020论文来源：AAAI 2021一、概述长序列时间序列预测问题长序列时间序列预测（Long sequence time-series forecasting，LST
2021-04-16 09:54:48
2594
2
原创 Sigmoid信念网络|机器学习推导系列（二十八）
一、概述Sigmoid信念网络（Sigmoid Belief Network，SBN）是一种有向图模型，这里的信念网络指的就是贝叶斯网络，也就是有向图模型，sigmoid指的就是sigmoid函数：σ(x)=11+exp(−x)\sigma (x)=\frac{1}{1+exp(-x)}σ(x)=1+exp(−x)1在Sigmoid信念网络中同样有两观测变量和隐变量，不过他们的连接是有向的，并且节点全部服从0-1分布，并且概率值与sigmoid函数有关。Sigmoid信念网络的概率图如下所示：
2021-04-10 16:46:44
483
原创 近似推断|机器学习推导系列（二十七）
一、推断的动机和困难推断的动机推断问题是在概率图模型中经常遇到的问题，也就是给定观测变量vvv的情况下求解后验p(h∣v)p(h|v)p(h∣v)，这里的hhh是隐变量（注意原来我们常用zzz和xxx来表示隐变量和观测变量，不过在深度学习中我们更倾向于使用hhh和vvv来表示隐变量和观测变量）。那么为什么推断问题是重要的呢？也就是说推断的动机是什么呢？推断的动机主要包括以下两个方面：①推断本身是有意义的。推断问题事实上是一种对原因的追溯，在给定观测的情况下来求解它的原因，因此推断本身是有意义的。
2021-03-28 19:30:24
218
原创 配分函数|机器学习推导系列（二十六）
一、概述对于有向概率图模型来说，由于图中存在天然的拓扑排序关系，所以有向概率图的因式分解的形式很容易写出来。而对于无向图来说就需要根据它图中的最大团来写成一个因式分解的形式，无向图模型在局部并没有表现出是一个概率模型，在整体上才表现地是一个概率模型，由此我们也就遇到了配分函数。在无向图模型的学习和评估问题中，我们会面对概率公式中的配分函数（Partition Function），往往这个配分函数是很难处理的。对于连续或离散的高维随机变量x∈Rp or {0,1,⋯ ,k}px\in \mathbb{
2021-03-25 11:59:44
914
原创 生成对抗网络-条件生成|深度学习（李宏毅）（二十五）
一、Text-to-Image概述对于原来的GAN来说，只能够输入一个随机的向量，然后得到一个产生的对象，但是我们无法控制产生什么样的对象，而我们期待用GAN来做到这件事，也就是条件生成（Conditional Generation）。以Text-to-Image任务来说，我们希望给Generator输入一段文字，然后让它来产生对应的图片：对于这样的一个任务，我们可以考虑用监督学习的方法来做，也就是给神经网络输入一段文字，来让其输出一张图片，并且要让图片与目标图片越接近越好，以此来达到条件生成的
2021-03-21 10:02:19
768
原创 高斯过程回归|机器学习推导系列（二十四）
一、概述将⼀维高斯分布推⼴到多变量中就得到了高斯网络，将多变量推⼴到无限维，就得到了高斯过程。高斯过程是定义在连续域（时间/空间）上的无限多个高斯随机变量所组成的随机过程。具体的形式化的定义如下：对于时间轴上的随机变量序列{ξt}t∈T\left \{\xi _{t}\right \}_{t\in T}{ξt}t∈T，TTT是一个连续域，如果∀n∈N+\forall n\in N^{+}∀n∈N+，t1,t2,⋯ ,tn∈Tt_{1},t_{2},\cdots ,t_{n}\in Tt1,t2
2021-03-21 10:01:19
670
原创 生成对抗网络-改进方法|深度学习（李宏毅）（二十四）
视频地址：①B站：https://www.bilibili.com/video/BV15W411i7uP?p=2②油管：https://www.youtube.com/watch?v=KSN4QYgAtao之前的博客地址：①生成对抗网络-基本概念|深度学习（李宏毅）（二十二）②生成对抗网络-理论部分|深度学习（李宏毅）（二十三）一、GAN的通用框架f-divergence之前说GAN的Discriminator的设计与JS散度有关，事实上可以设计Discriminator和任何f-div
2021-03-21 10:00:11
1406
原创 贝叶斯线性回归|机器学习推导系列（二十三）
一、概述线性回归的数据如下所示：D={(x1,y1),(x2,y2),⋯ ,(xN,yN)}xi∈Rp,yi∈R,i=1,2,⋯ ,NX=(x1,x1,⋯ ,xN)T=(x1Tx2T⋮xNT)=(x11x12⋯x1px21x22⋯x2p⋮⋮⋱⋮xN1xN2⋯xNp)N×pY=(y1y2⋮yN)N×1D=\left \{(x_{1},y_{1}),(x_{2},y_{2}),\cdots ,(x_{N},y_{N})\right \}\\x_{i}\in \mathbb{R}^{p},y_{i}\in
2021-03-21 09:58:23
900
原创 受限玻尔兹曼机|机器学习推导系列（二十五）
一、概述对于无向图模型，我们可以回忆一下它的基于最大团的因子分解（Hammersley–Clifford theorem）。给定概率无向图模型，Ci,i=1,2,⋯ ,kC_i,i=1,2,\cdots ,kCi,i=1,2,⋯,k为无向图模型上的最大团，则xxx的联合概率分布P(x)P(x)P(x)可以写为：P(x)=1Z∏i=1kψ(xCi)Ci：最大团xCi：最大团随机变量集合ψ(xCi)：势函数，必须为正Z=∑x∏i=1kψ(xCi)=∑x1∑x2⋯∑xp∏i=1kψ(xCi)P(x)=\f
2021-03-15 18:13:22
329
原创 生成对抗网络-理论部分|深度学习（李宏毅）（二十三）
视频地址：①B站：https://www.bilibili.com/video/BV15W411i7uP②油管：https://www.youtube.com/watch?v=0CKeqXl5IY0之前的博客地址：生成对抗网络-基本概念|深度学习（李宏毅）（二十二）一、极大似然估计极大似然估计在GAN中，对于真实的训练样本的分布，记作Pdata(x)P_{data}(x)Pdata(x)，这个分布也就是GAN试图去拟合、逼近的分布。另外有一个由参数θ\thetaθ控制的分布记作PG(x;θ
2021-03-03 11:27:59
302
原创 生成对抗网络-基本概念|深度学习（李宏毅）（二十二）
视频地址：①B站：https://www.bilibili.com/video/BV1JE411g7XF?p=72②油管：https://www.youtube.com/watch?v=DQNNMiAP5lw一、基本概念Generation生成（Generation）是指通过让机器学习的模型输入一个随机的向量，来让它产生图片或者文字等，而生成对抗网络（Generative Adversarial Network，GAN）就是用来完成生成任务的一种常用的技术：仅仅输入一个随机的向量来产生图片
2021-02-27 14:38:32
946
1
原创 异常检测|深度学习（李宏毅）（二十一）
一、概述什么是异常检测异常检测（Anomaly Detection）的目的是要让机器“知道它不知道”。具体的，对于给定的训练数据{x1,x2,⋯ ,xN}\left \{x^{1},x^{2},\cdots ,x^{N}\right \}{x1,x2,⋯,xN}，我们希望训练一个Anomaly Detector来检测输入xxx是不是与训练数据时相似的，对于不相似的数据就要判定其为anomaly：对于相似度的判定，不同的方法有不同的方式。异常（anomaly）还有很多别名，比如outlier、no
2021-02-23 14:34:14
2600
原创 高斯网络|机器学习推导系列（二十二）
一、概述高斯网络是一种概率图模型，对于普通的概率图模型，其随机变量的概率分布是离散的，而高斯网络的概率分布是连续的高斯分布。高斯网络也分为有向图和无向图，其中有向图叫做高斯贝叶斯网络（Gaussian Bayesian Network，GBN），无向图叫做高斯马尔可夫网络（Gaussian Markov Network，GMN）。概率图模型的分类大致如下：Probabilistic Graphical Model{→discrete{Bayesian NetworkMarkov Network
2021-02-21 18:30:49
391
原创 无监督学习-自编码器-补充|深度学习（李宏毅）（二十）
一、最小重构代价之外的方法Using Discriminator一个自编码器学习到的隐层向量对于原来的输入来说应该是具有代表性的，就好比三玖的耳机对于三玖来说就是具有代表性的，看到三玖的耳机不会想到一花一样：评估隐层向量的代表性好不好就可以当做评估自编码器效果的指标。具体的方法就是训练一个Discriminator来评估隐层向量是不是具有代表性，在下面的例子中三玖的图片通过一个自编码器可以得到一个蓝色的向量，凉宫春日的图片通过一个自编码器可以得到一个黄色的向量：然后我们可以训练一个Discr
2021-02-20 09:50:42
301
原创 条件随机场|机器学习推导系列（二十一）
一、背景概述如上所示，分类问题分为硬分类和软分类两种。硬分类问题指的是分类结果非此即彼的模型，包括SVM、PLA、LDA等。软分类问题将概率作为分类的依据，分为概率判别模型和概率生成模型两...
2021-02-09 10:24:51
371
原创 无监督学习-自编码器|深度学习（李宏毅）（十九）
一、深度自编码器自编码器自编码器（Auto-encoder）是一种无监督学习的方法，可以用来进行数据的降维。对于我们的输入数据，可以将其通过一个Encoder来获得一个低维的code，然后将这个code通过一个Decoder来重建原来的数据，而Encoder和Decoder是一起训练。下图以手写数字数据集为例展示了这个过程：类比PCA在PCA中，我们将数据xxx乘以一个矩阵WWW然后得到低维的表示zzz，而我们将WTzW^TzWTz记作x^\hat{x}x^，通过极小化xxx与x^\hat
2021-02-05 14:08:35
1304
原创 无监督学习-邻域嵌入方法|深度学习（李宏毅）（十八）
一、概述流形学习（Manifold Learning）是指通过从高维采样数据中恢复低维流形结构，即找到高维空间中的低维流形，并求出相应的嵌入映射，以实现降维或者数据可视化。拿地球举例来说...
2021-02-01 11:00:05
759
原创 谱聚类|机器学习推导系列（二十）
一、概述对于下图所示的数据进行聚类，可以采用GMM或者K-Means的方法：然而对于下图所示的数据，单纯的GMM和K-Means就无效了，可以通过核方法对数据进行转换，然后再进行聚类：对于上图所示的数据进行聚类可以考虑采用谱聚类（spectral clustering）的方法。总结来说，聚类算法可以分为两种思路：①Compactness，这类有 K-means，GMM 等，但是这类算法只能处理凸集，为了处理非凸的样本集，必须引⼊核技巧。②Connectivity，这类以谱聚类为代表。二
2021-01-31 13:51:37
339
原创 粒子滤波|机器学习推导系列（十九）
一、概述粒子滤波（Particle Filter）是动态模型的非线性，非高斯的版本，也就是说ztz_tzt和zt−1z_{t-1}zt−1、xtx_txt和ztz_tzt的关系是非线性的，其噪声也是非高斯的：zt=g(zt−1,μ,ε)xt=h(zt,μ,δ)z_{t}=g(z_{t-1},\mu ,\varepsilon )\\x_{t}=h(z_{t},\mu ,\delta )zt=g(zt−1,μ,ε)xt=h(zt,μ,δ)对于卡尔曼滤波，可以通过高斯分布的性质直接解得
2021-01-22 15:11:25
354
原创 无监督学习-线性方法|深度学习（李宏毅）（十七）
一、概述无监督学习可以认为主要包括两种，一种是化繁为简（比如聚类和降维）和无中生有（比如生成）。化繁为简这种方式只有模型的输入，而无中生有这种方式只有模型的输出：在本文中主要介绍一些聚类和降维的方法。二、聚类K-meansK-means是一种无监督的聚类方法，通常我们有一些数据，需要分成多个类。这里有一个问题就是事先需要确定要聚成多少个类，类的个数不能太多也不能太少，极端地将数据聚成样本个数个类或者一个类都相当于没有进行聚类：假如我们有NNN个样本X={x1,⋯ ,xn,⋯ ,xN}X=
2021-01-20 12:09:42
393
原创 BERT：深度双向预训练语言模型
论文标题：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding论文链接：https://arxiv.org/abs/1810.04805一、概述简介BERT（Bidirectional Encoder Representations from Transformers）通过预训练来学习无标注数据中的深度双向表示，预训练结束后通过添加一个额外的输出层进行微调，最终在多个NLP任务上实现了SO
2021-01-10 12:46:33
1768
原创 CogLTX：应用BERT处理长文本
论文标题：CogLTX: Applying BERT to Long Texts论文链接：https://arxiv.org/abs/2008.02496论文来源：NeurIPS 2020一、概述BERT由于其随文本长度二次增长的内存占用和时间消耗，在处理长文本时显得力不从心。通常BERT最大支持输入序列长度为512，这对于标准的benchmark比如SQuAD和GLUE数据集是足够的，但对于更加通常的情况下，比如更加复杂的数据集或者真实世界的文本数据，512的序列长度是不够用的。相关工作目
2021-01-09 11:30:52
1477
原创 递归神经网络|深度学习（李宏毅）（十六）
李宏毅老师深度学习系列2020一、递归神经网络与循环神经网络该部分以情感分析任务为例来说明递归神经网络（recursive neural network）和循环神经网络（recurrent neural network）的关系。如下图所示，在使用RNN来搭建情感分析神经网络模型时，我们首先使用word embedding的方法来将获取句子的embedding序列，然后将序列中的每一个token的embedding输入到RNN中，最后将最后一个时间点的输出向量输入到一个分类器（可以是一个前馈网络）中来完
2020-12-30 20:33:29
535
原创 Transformer：Attention Is All You Need
论文标题：Attention Is All You Need论文链接：https://arxiv.org/abs/1706.03762一 、概述Transformer是一种新的架构，用来学习输入和输出之间的全局依赖关系。比起以往使用RNN（recurrent neural network）来处理NLP领域中的诸多任务，Transformer是一种全新的架构，其中规避开了recurrence架构，并且相比于RNN，其并行计算的能力更强（more parallelizable）。二、模型架构模型中的
2020-12-06 10:34:47
155
原创 ConvBERT: 使用基于区间的动态卷积来提升BERT
论文标题：ConvBERT: Improving BERT with Span-based Dynamic Convolution论文链接：https://arxiv.org/abs/2008.02496一、概述简介本文提出了一种新的预训练语言模型ConvBERT，这个模型是在BERT的基础上进行改进，最终极大地提升了训练的速度，节约了训练成本，同时提升了模型效果，具体的，ConvBERT用 1/10 的训练的时间和 1/6 的参数，就能获得跟原来的模型获得一样的精度。该模型引入了以下几个新的
2020-11-22 20:21:15
480
原创 条件生成-2|深度学习（李宏毅）（十五）
李宏毅老师深度学习系列2020这一篇主要介绍Generation的一些技巧。一、正则化以视频的text generation举例，我们按下图形式表示Attention的权重值，上标表示component，也就是视频帧，下标表示时间步：好的Attention应该使得每个component都能被Attent到。在实际训练的过程中可能会出现以下情况，也就是某一帧被过分地Attent了多次，这可能会产生“A woman is frying a woman.”这种奇怪的text：为了解决这个问题，我们可
2020-11-07 16:37:18
285
原创 卡尔曼滤波|机器学习推导系列（十八）
一、概述HMM 模型适用于隐变量是离散的值的时候，对于连续隐变量的 HMM，常用卡尔曼滤波（Kalman Filtering）描述线性高斯模型的态变量，使用粒子滤波（Particle Filter）来表述非高斯非线性的态变量。线性体现在上一时刻和这一时刻的隐变量以及隐变量和观测变量之间，它们的关系可以表示为：zt=A⋅zt−1+B+εxt=C⋅zt+D+δε∼N(0,Q)δ∼N(0,R)z_{t}=A\cdot z_{t-1}+B+\varepsilon \\x_{t}=C\cdot z_{t}+
2020-10-31 20:39:11
714
原创 条件生成-1|深度学习（李宏毅）（十四）
李宏毅老师深度学习系列2020一、Generationgeneration的目的是生成有结构的某些东西，比如句子、图片等。比如我们可以使用RNN来生成句子，如下图，我们在训练RNN时可以输入当前字然后使得RNN输出下一个字，如此就可以使得模型输出一个句子：我们也可以尝试将生成句子的RNN模型用于生成图片上，在这里我们将图片的每个像素看做一个word，如下图：然后使用类似上面的模型进行训练就可以生成一张图片，但是使用这种方法有一个问题。我们可以看到图片的像素是按照以下顺序产生的：显然模型忽视了
2020-10-31 11:40:00
294
原创 隐马尔可夫模型|机器学习推导系列（十七）
一、概述1. 介绍动态模型可以类比高斯混合模型这种静态模型，高斯混合模型的特点是“混合”，动态模型的特点是在“混合”的基础上加入了“时间”。动态模型包括多种模型：Dynamic Model{HMMKalman FilterParticle FilterDynamic\; Model\left\{\begin{matrix}HMM\\ Kalman\; Filter\\ Particle\; Filter\end{matrix}\right.DynamicModel⎩⎨⎧HMMKalm
2020-10-25 18:55:40
338
原创 MCMC-2|机器学习推导系列（十六）
一、概述1. 概述在对一个概率分布进行随机抽样，或者是求函数关于该概率分布的数学期望时可以使用马尔可夫链蒙特卡罗法（MCMC）。相比与拒绝采样法和重要性采样法，MCMC更适用于随机变量是多元的、概率密度函数是非标准形式的、随机变量各分量不独立等情况。对于多元随机变量xxx，满足x∈Xx\in \mathcal{X}x∈X，其概率密度函数为p(x)p(x)p(x)，f(x)f(x)f(x)为定义在x∈Xx\in \mathcal{X}x∈X的函数，目标是获得概率分布p(x)p(x)p(x)的样本集合以及
2020-10-06 17:18:49
823
原创 MCMC-1|机器学习推导系列（十五）
一、蒙特卡洛方法Monte Carlo Method也就是基于采样的随机近似方法。该方法旨在求得复杂概率分布下的期望值：Ez∣x[f(z)]=∫p(z∣x)f(z)dz≈1N∑i=1Nf(zi)E_{z|x}[f(z)]=\int p(z|x)f(z)\mathrm{d}z\approx \frac{1}{N} \sum_{i=1}^{N}f(z_{i})Ez∣x[f(z)]=∫p(z∣x)f(z)dz≈N1∑i=1Nf(zi)，其中ziz_{i}zi是从概率分布p(z∣x)p(z|x)p(z∣
2020-09-26 18:16:06
299
原创 模型压缩|深度学习（李宏毅）（十三）
一、概述需要做模型压缩的原因在于我们有将模型部署在资源受限的设备上的需求，比如很多移动设备，在这些设备上有受限的存储空间和受限的计算能力。本文主要介绍五种模型压缩的方法：①网络剪枝（Ne...
2020-08-31 11:00:14
921
原创 变分推断|机器学习推导系列（十四）
一、概述对于概率模型来说，如果从频率派角度来看就会是一个优化问题，从贝叶斯角度来看就会是一个积分问题。从贝叶斯角度来看，如果已有数据xxx，对于新的样本x^\hat{x}x^，需要得到：p(x^∣x)=∫θp(x^,θ∣x)dθ=∫θp(x^∣θ,x)p(θ∣x)dθ=x^与x独立∫θp(x^∣θ)p(θ∣x)dθ=Eθ∣x[p(x^∣θ)]p(\hat{x}|x)=\int _{\theta }p(\hat{x},\theta |x)\mathrm{d}\theta =\int _{\theta
2020-08-29 10:07:17
462
原创 高斯混合模型|机器学习推导系列（十三）
一、概述以一维数据为例，我们可以看到下图通过将多个单一的高斯模型加权叠加到一起就可以获得一个高斯混合模型，这个混合模型显然具备比单个高斯模型更强的拟合能力：再举一个二维数据的例子，在下图中可以看到有两个数据密集区域，对应的概率分布也就会有两个峰。高斯混合模型可以看做生成模型，其数据生成过程可以认为先选择一个高斯分布，再从被选择的高斯分布中生成数据：综合上述两种描述，我们可以从两种角度来描述高斯混合模型：几何角度：加权平均可以认为高斯混合模型是将多个高斯分布加权平均而成的模型：p(x)=
2020-08-24 11:22:10
459
原创 机器学习攻防|深度学习（李宏毅）（十二）
一、研究机器学习模型攻防的动机我们训练的模型并非只部署在实验室，我们还需要部署到现实世界中。我们希望机器学习模型能够对专门设计来“欺骗”的输入具备一定的鲁棒性，模型光是对噪声具备一定的鲁棒性是不够的。尤其是在垃圾邮件检测、恶意软件入侵、网络入侵检测这些任务上，我们可能会遇到一些专门设计用来骗过机器学习模型的输入，因此研究机器学习模型的攻击和防御的方法是有必要的。二、攻击模型的方法概述对于一个图片分类器来说，我们希望通过为原来可以正确分类的图片（比如一只猫）添加一些噪声来使得模型预测出错误的结果，
2020-08-21 20:27:33
225
原创 EM算法|机器学习推导系列（十二）
一、概述假设有如下数据：XXX:observed dataZZZ:unobserved data(latent variable)(X,Z)(X,Z)(X,Z):complete dataθ\thetaθ:parameterEM算法的目的是解决具有隐变量的参数估计（MLE、MAP）问题。EM算法是一种迭代更新的算法，其计算公式为：θt+1=Ez∣x,θt[log p(x,z∣θ)]=argmaxθ∫zlog p(x,z∣θ)⋅p(z∣x,θt)dz\theta ^{t+1}=E_{z
2020-08-20 11:05:56
235
原创 概率图模型-推断|机器学习推导系列（十一）
一、概述总的来说，推断的任务就是求概率。假如我们知道联合概率P(x)=P(x1,x2,⋯ ,xp)P(x)=P(x_{1},x_{2},\cdots ,x_{p})P(x)=P(x1,x2,⋯,xp)，我们需要使用推断的方法来求：边缘概率：P(xi)=∑x1⋯∑xi−1∑xi+1⋯∑xpP(x)边缘概率：P(x_{i})=\sum_{x_{1}}\cdots\sum_{x_{i-1}} \sum_{x_{i+1}}\cdots \sum_{x_{p}}P(x)边缘概率：P(xi)=∑x1⋯
2020-08-17 18:20:17
353
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人