研究生机器学习
文章平均质量分 55
cloudless_sky
快乐coder
展开
-
model在CPU上能正常运行在GPU上却卡住
GPU pytorch 深度学习原创 2023-02-20 16:37:27 · 874 阅读 · 1 评论 -
重参数化技巧 Gumbel softmax trick
重参数化技巧原创 2022-10-31 15:12:26 · 285 阅读 · 0 评论 -
多层、双向RNN、GCN图示理解
RNN\GCN转载 2022-10-12 21:43:12 · 316 阅读 · 0 评论 -
pytorch 单机多卡--DistributedDataParallel+混合精度--提高速度,减少内存占用
混合精度,并行单机多GPU并行原创 2022-08-17 15:08:57 · 1176 阅读 · 1 评论 -
非参贝叶斯 高斯过程 狄利克雷过程 高斯混合 中国餐馆 狄利克雷分布
狄利克雷 高斯转载 2022-08-06 10:00:29 · 131 阅读 · 0 评论 -
pytorch tensorboard使用
tensorboard使用原创 2022-07-23 16:37:34 · 453 阅读 · 0 评论 -
Graph Neural Network-Based Anomaly Detection in Multivariate Time Series 代码配置及解析
论文代码复现原创 2022-07-20 23:06:18 · 1954 阅读 · 13 评论 -
tensorflow入门
tensorflow的安装以及入门原创 2022-06-13 09:40:29 · 1991 阅读 · 0 评论 -
论文代码 MTS Anomaly Detection and Interpretation using Hierarchical Inter-Metric and Temporal Embeddin
论文复现原创 2022-06-07 21:42:55 · 405 阅读 · 0 评论 -
如何查看服务器上的显卡和Python版本信息
查看服务器显卡信息原创 2022-06-01 10:35:29 · 5984 阅读 · 0 评论 -
Gumbel-Softmax Trick+VAE重参数化技巧
更多详见 https://www.cnblogs.com/initial-h/p/9468974.html转载 2022-05-05 14:37:32 · 320 阅读 · 0 评论 -
图卷积神经网络GCN原理+图结构学习+GAT+VGAE
https://baijiahao.baidu.com/s?id=1678519457206249337&wfr=spider&for=pcGCN是一种卷积神经网络,它可以直接在图上工作,并利用图的结构信息。GCN的基本思路:对于每个节点,我们从它的所有邻居节点处获取其特征信息,当然也包括它自身的特征。假设我们使用average()函数。我们将对所有的节点进行同样的操作。最后,我们将这些计算得到的平均值输入到神经网络中。GCN的主要思想。我们以绿色节点为例。首先,我们取其所有邻居节点原创 2022-04-27 21:28:21 · 7526 阅读 · 1 评论 -
layer normalization+残差连接+矩阵的低秩的含义
embedding 是学习得来的,emmbedding并不存在一个客观的分布。通过layer normalization得到的embedding是 以坐标原点为中心,1为标准差,越往外越稀疏的球体空间中。https://www.zhihu.com/question/395811291/answer/1260290120?ivk_sa=1024320u...转载 2022-04-26 20:59:41 · 212 阅读 · 0 评论 -
空洞/扩张/膨胀卷积的作用
卷积核膨胀是将卷积核扩张到膨胀尺度约束的尺度中,并将原卷积核没有占用的区域填充零.空洞卷积的作用:①:使输出变得更稠密。②:在不增加计算量的情况下,扩大了卷积核视野(卷积核尺寸变大)。https://blog.csdn.net/chen1234520nnn/article/details/102516704空洞卷积有什么作用呢?扩大感受野:在deep net中为了增加感受野且降低计算量,总要进行降采样(pooling或s2/conv),这样虽然可以增加感受野,但空间分辨率降低了。为了能不丢失分.原创 2022-04-26 16:41:08 · 968 阅读 · 0 评论 -
GCN 和 GAT
https://blog.csdn.net/Alienge/article/details/106439479?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1.pc_relevant_antiscanv2&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-转载 2022-04-25 20:52:57 · 165 阅读 · 0 评论 -
pytorch的维度含义
https://mathpretty.com/12065.html当按照axis=0进行求和的时候, 其实可以想象为对axis=0这个维度进行挤压, 最后只剩下一行, 那一行就是结果, 也就是按列在相加.原创 2022-04-21 14:17:23 · 1348 阅读 · 0 评论 -
transformer框架+self-attention技术+和图的关系
注意力机制能够显著提高神经机器翻译任务的性能。本文将会看一看Transformer—加速训练注意力模型的方法。Transformers在很多特定任务上已经优于Google神经机器翻译模型了。不过其最大的优点在于它的并行化训练。Transformer模型:编码组件是一系列编码器的堆叠(文章中是6个编码器的堆叠——没什么特别的,你也可以试试其他的数字)。解码部分也是同样的堆叠数。编码器在结构上都是一样的(但是它们不共享权重)。每个都可以分解成两个子模块:编码器的输入首先流经self-atten.原创 2022-04-12 15:05:53 · 2178 阅读 · 0 评论 -
注意力机制attention图解
来自对https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/的笔记注意力机制核心观点就是让RNN每一步都监视一个更大的信息集合并从中挑选信息。例如:如果你使用RNN去为一个图像生成注释,它会从图像中挑选一部分去预测输出的单词。接下来在讲解attention之前,我们会先聊聊Seq2Seq。序列到序列模型是一种模型,它采用一系列项目(单词、字母原创 2022-04-11 16:03:30 · 5695 阅读 · 0 评论 -
VAE的原理+直观理解+公式推导+去噪+异常检测
1、VAE原理的直观理解使用(VAE)生成建模,理解可变自动编码器背后的数学原理一般设先验分布为标准正态分布,但是也可以是其他分布。KL项目的是使得q(z|x)与p(z|x)相似,只是后面ELBO经过推导转换成了q(z|x)和p(z)尽可能靠近的问题。...原创 2022-03-24 16:52:23 · 41053 阅读 · 10 评论 -
计算机、机器学习、AI顶会(领域常识)
(1)博客期刊:最好的是JMLR; MLJ和PAMI次之; TNN、neural computation、PR再次一些; PRL、neural computing等等基本纯水。会议:最好的是NIPS、ICML、COLT; UAI、AISTATS、KDD、CVPR次之; ECML、IJCAI、AAAI、ICDM更次一些摘抄至:https://blog.csdn.net/barry_j/article/details/79733262(2)顶级或者高水平会议(知乎):机器学习领域原创 2021-12-06 20:33:24 · 993 阅读 · 0 评论 -
机器学习、深度学习、统计学习、NLP、CV各领域的联系
其实,机器学习跟模式识别,统计学习,数据挖掘,计算机视觉,语音识别,自然语言处理等领域有着很深的联系。从范围上来说,机器学习跟模式识别,统计学习,数据挖掘是类似的,同时,机器学习与其他领域的处理技术的结合,形成了计算机视觉、语音识别、自然语 言处理等交叉学科。因此,一般说数据挖掘时,可以等同于说机器学习。同时,我们平常所说的机器学习应用,应该是通用的,不仅仅局限在结构化数据,还有图 像,音频等应用。在这节对机器学习这些相关领域的介绍有助于我们理清机器学习的应用场景与研究范围,更好的理解后面的算法与应用层原创 2021-11-16 16:13:12 · 2956 阅读 · 0 评论 -
贝叶斯(4)-- EM算法
关键字: 隐变量 迭代通过期望去掉了似然函数中的隐变量,下面图中的L其实是上面的Q;一直迭代,直到参数值不再改变,即为收敛。Jensen不等式为啥?这里公式怎么套过来的???需要理解的几点:最重要的是了解EM算法的过程,下面的定理和原理实在不懂就算了;EM算法的代码跟着写一下。。。。。。...原创 2021-11-14 21:03:04 · 854 阅读 · 0 评论 -
贝叶斯(2)-最大似然估计和贝叶斯参数估计
直接统计类条件密度太复杂了且样本不足,所以我们希望用一个密度函数去拟合它,比如拟合成下面的正态分布,其中的参数可以用最大似然方法或者贝叶斯估计去进行参数估计。给每个类建模一个密度函数,每个类的函数的参数θ不同;假设n个样本独立同分布每个样本可以形成一个模型,多个样本多个模型,如图1;取均值得到图2;但是可能会下溢(p很小),所以用log来解决这个问题,也称为似然;这里的Σ是协方差;t代表转置,因为x是多维向量;极大似然估计就是事先假定一个模型,用样本估计参数;所以对模型的选.原创 2021-11-14 19:14:30 · 1800 阅读 · 0 评论 -
机器学习--贝叶斯算法(1)
那么,条件概率p(xi|y=y)怎么得到呢?其实是从样本中统计得到。注意下面这个图中下面的p(yes|no)和上面右边的那个概率写反了,换一下;下图中p(Y=Yes)小错误因为分母是一样的,所以只需要比较分子;求条件概率和先验概率可以采用不同的模型,下面介绍两种:1、多项式模型(以单词为单位)2、伯努利模型(以文件为单位)视频截图来自于幂次学院的课程,哔哩哔哩AI研习图书馆,视频链接...原创 2021-11-14 16:00:00 · 500 阅读 · 0 评论 -
<概率论与数理统计>中各种符号的名称
序号 大写 小写 英文注音 国际音标注音 中文注音1 Α α alpha a:lf 阿尔法2 Β β beta bet 贝塔3 Γ γ gamma ga:m 伽马4 Δ δ delta delt 德尔塔5 Ε ε epsilon epsilon 伊普西龙 6 Ζ ζ zeta zat 截塔 7 Η η eta eit 艾塔 8 Θ θ thet θit 西塔 9 Ι ι iot aiot 约塔 10 Κ κ kappa kap 卡帕 11 Λ λ lambda lambd 兰布达 12 Μ μ m原创 2021-11-14 14:24:58 · 6472 阅读 · 0 评论