![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 69
记录深度学习一些自我理解
HenrySmale
张恒汝,博士,西南石油大学教授,硕士生导师,机器学习研究中心副主任,四川省学术和技术带头人后备人选,四川省通信管理局工业互联网领域入库专家,教育部产学合作协同育人项目入库专家,CCF、ACM会员,CAAI粒计算与知识发现专委会委员。
展开
-
MLReal学习笔记
MLReal学习笔记原创 2023-02-20 11:02:50 · 70 阅读 · 0 评论 -
CGCKD2021大会报告整理(3)--贝叶斯深度网络
原创 2022-01-14 14:43:50 · 266 阅读 · 0 评论 -
CGCKD2021大会报告整理(2)--因果推断与因果域适应学习
ssss原创 2022-01-13 15:06:35 · 472 阅读 · 2 评论 -
Transform机制(1)
本文是对李宏毅老师的课程进行了整理。视频地址为:https://www.bilibili.com/video/BV1Wv411h7kN?p=351 引入Transform的应用场景2 基本原理Transform机制由编码器(Encoder)和解码器(Decoder)构成。编码器:输入是一组向量序列,输出为一组向量序列,attention(注意力机制)、CNN、RNN等都可以作为Encoder;解码器:根据编码器的输出,利用Begin特殊符号、输入向量序列得到后续的输出向量序列(如一段文字原创 2022-01-03 20:08:52 · 1341 阅读 · 0 评论 -
自注意力机制Self-attention(2)
1 内容回顾query: q2=Wqa2q^2 = W^q a^2q2=Wqa2key:k2=Wka2k^2 = W^k a^2k2=Wka2value:v2=Wva2v^2 = W^v a^2v2=Wva2attention score:α2,2=q2⋅k2\alpha_{2,2} = q^2 \cdot k^2α2,2=q2⋅k2Soft-max:α2,2′=exp(α2,2)∑jexp(α2,j)\alpha_{2,2}^{'} = \frac{\exp(\alpha_{2,2})}原创 2021-12-24 11:31:48 · 635 阅读 · 0 评论 -
自注意力机制Self-attention(1)
本文是对李宏毅老师的课程进行了整理。视频地址为:https://www.bilibili.com/video/BV1Wv411h7kN?p=231 问题引入问:为什么要引入自注意力机制?答:输入一个向量,经过Model预测后得到一个分类结果/数值型结果;然而当输入一组向量呢,经过Model预测后有三种可能的输出,第一种输出是一个分类结果/数值型结果,第二种输出是每个向量输出一个分类结果/数值型结果(有多少个输入向量,就有多少个分类结果),第三种输出是多种分类结果/数值型结果(输入向量个数和输出分原创 2021-12-23 21:21:04 · 1289 阅读 · 0 评论 -
注意力机制--转载自我的学生隆兴写的博客
1 Attention1.1 什么是 Attention灵长类动物的视觉系统中的视神经接受了大量的感官输入。在检查视觉场景时,我们的视觉神经系统大约每秒收到 10810^8108 位的信息,这远远超过了大脑能够完全处理的水平。但是,并非所有刺激的影响都是相等的。意识的聚集和专注使灵长类动物能够在复杂的视觉环境中将注意力引向感兴趣的物体,例如猎物和天敌。在心理学框架中,人类根据随意(有意识)线索和不随意(无意识)线索选择注意点。下面两张图展现了在随意线索和不随意线索的影响改下,眼的注意力集中的位置。转载 2021-11-27 10:16:35 · 241 阅读 · 0 评论 -
机器学习+深度学习相关课程地址总结
课程全部内容PPT课程链接:https://www.bilibili.com/video/BV1JE411g7XF?p=1百度网盘链接:https://pan.baidu.com/s/1A2pwtwLPUOnPpjjSpfYpXg提取码:nd6c原创 2021-11-19 09:38:59 · 2519 阅读 · 0 评论 -
如何理解矩阵对矩阵求导?
给一种不严密但有用的理解方式:1 向量的“倒数”记向量x={x1,x2,…,xn}T\textrm{x} = \{x_1, x_2, \dots, x_n\}^Tx={x1,x2,…,xn}T,其倒数记为:x−1={}\textrm{x}^{-1} = \{\}x−1={}原创 2021-10-11 10:02:14 · 322 阅读 · 0 评论 -
深度学习(3)--常用激活函数的有用性质
sigmoid函数softplus函数原创 2021-07-28 10:44:59 · 758 阅读 · 0 评论 -
深度学习(2)--常见概率分布(2)
上一节介绍了伯努利分布、二项式分布、多项式分布以及范畴分布,本节将介绍高斯分布、指数分布、Laplace分布、Dirac分布、经验分布及混合分布。原创 2021-07-23 11:52:56 · 1072 阅读 · 0 评论 -
深度学习(2)--常见概率分布(1)
许多简单的概率分布在机器学习的众多领域中都非常有用。伯努利(Bernoulli)分布伯努利分布是一种离散分布,有两种可能的结果:1表示成功,出现的概率为ppp(其中0<p<10 \lt p \lt 10<p<1)。0表示失败,出现的概率为q=1−pq=1-pq=1−p。这种分布在机器学习中很有用,比如正面或反面,成功或失败,有缺陷或没有缺陷,病人康复或未康复。可以用数学描述为:随机变量xxx只取0和1两个值,其概率为:P(x=1)=pP(x = 1) = pP(x原创 2021-07-22 11:12:09 · 463 阅读 · 0 评论 -
深度学习(1)--引言
表示学习(representation learning)使用机器学习来发掘表示本身,而不仅仅把表示映射到输出。表示学习算法的典型例子为自编码器(autoencoder)。自编码器由一个**编码器(encoder)函数和一个解码器(decoder)**函数组合而成。编码器:将输入数据转换为一种不同的表示。解码器:将这个新的表示转换回原来的形式。训练目标:输入数据经过编码器和解码器之后尽可能多地保留信息,同时希望新的表示有各种好的特性。变差因素(factors of variation):设计特原创 2021-07-22 10:17:15 · 228 阅读 · 0 评论