邱锡鹏 神经网络与深度学习
桐原因
这个作者很懒,什么都没留下…
展开
-
邱锡鹏 神经网络与深度学习课程【十八】——生成对抗网络
显式密度模型和隐式密度模型生成网络:从隐空间中随机采样作为输入,其输出结果需要尽量模仿训练集中的真实样本示例:判别网络判别网络的输入则为真实样本或生成网络的输出,其目的是将生成网络的输出从真实样本中尽可能分辨出来MinMax Game对抗训练 生成网络要尽可能地欺骗判别网络 判别网络将生成网络生成的样本与真实样本中尽可能区别出来过程:公式:训练过程:具体例子: DCGANS判别网络是一个传统的深度卷积网络,但使用了带步...原创 2020-10-22 09:02:55 · 359 阅读 · 0 评论 -
邱锡鹏 神经网络与深度学习课程【十七】——深度生成模型
生成模型:一系列用于随机生成可观测数据的模型密度估计采样上面两步都比较难做,生成数据的另一种思路:生成模型:1.变分自编码器 Variational Autoencoder VAE概率生成模型:EM算法:p(z|x)比较复杂 因此采用近似的方法去做 就是变分自编码器变分自编码器图形化表示推断网络:生成网络:模型汇总再参数化:训练过程变分自编码器学习的隐变量流形...原创 2020-10-20 09:08:02 · 375 阅读 · 0 评论 -
邱锡鹏 神经网络与深度学习课程【十六】——深度信念网络
玻尔兹曼机:是一种特殊的概率无向图模型如何推断?因为分配函数Z通常都比较难以计算所以采用Gibbs采样Gibbs采样:与T有关 当T很大的时候 logistics函数趋向于0.5 当T很小是 为正 logistics函数趋向于1 为负 logistics函数趋向于为0基于上述的性质:模拟退火参数学习:基于Gibbs采样来进行近似求解:但是效率比较低为了提高玻尔兹曼机的效率 提出受限玻尔兹曼机:RBM二分图结构的无向图模型全条件概...原创 2020-10-16 08:55:44 · 406 阅读 · 0 评论 -
邱锡鹏 神经网络与深度学习课程【十五】——概率图模型2和3
学习:参数学习:给定一组训练样本,求解模型参数 进行参数估计有向图:在贝叶斯网络中,所有变量x的联合概率分布可以分解为每个随机变量x_k的局部条件概率的连乘形式无向图:以对数线性模式为例含隐变量的参数估计隐变量即变量是不可观测的 图中x为可观测变量 z为不可观测变量高斯混合模型:高斯混合模型难点:因为z是不可观测的,不知道具体那个样本具体来自那个高斯,简单的解法:K-means主要两步含有隐变量的参数估计:期望最大化 Expecta...原创 2020-10-14 09:03:19 · 803 阅读 · 3 评论 -
邱锡鹏 神经网络与深度学习课程【十四】——概率图模型2和3
模型表示:有向图 贝叶斯网络 信念网络常见的有向图模型朴素贝叶斯分类器 和 sigmoid信念网络隐马尔可夫模型 HMM 应用广泛:高斯混合模型:高斯图模型表示:概率主题模型:无向图 马尔可夫随机场是一类用无向图来表示一组具有马尔可夫性质的随机变量X的联合概率分布模型图示表示团: Clique 一个全连通子图 即团内的所有节点之间都连边定义团之后 就可以构建无向图上的联合概率了 Hammersley-Clif...原创 2020-10-12 09:09:47 · 389 阅读 · 1 评论 -
邱锡鹏 神经网络与深度学习课程【十三】——无监督学习和概率图模型1
无监督学习定义:只从无标签的数据中学习出一些有用的模式典型的无监督学习:深度学习中只考虑前两个问题即可无监督特征学习:主成分分析(Principal Component Analysis PCA) 一种最常用的数据降维方法,使得在转换后的空间中数据的方差最大(线性)编码给定一组基向量A=[a_1, ..... , a_m] 将输入样本x表示为这些基向量的线性组合完备性和稀疏编码:过完备基向量是指:基向量个数远远大于其支撑空间维度,因此这些基向量一般不具备独..原创 2020-10-09 09:22:18 · 2672 阅读 · 1 评论 -
邱锡鹏 神经网络与深度学习课程【十二】——注意力机制和外部记忆1和2
注意力机制的变体硬性注意力 一般用的少 因为不可导 用的最多的是键值对注意力多头注意力 和 结构化注意力 结构化的比较难指针网络自注意力模型:使用RNN或者CNN 只建模了输入信息的局部依赖关系如何处理非局部的依赖关系 可以使用全连接 但没有办法处理变长的问题实例:QKV模式 Query-Key-Value细节计算:多头自注意力模型:成功的使用:Transformer Encoder 序列建模只有自注意力还不够...原创 2020-09-29 09:23:34 · 459 阅读 · 3 评论 -
邱锡鹏 神经网络与深度学习课程【十一】——网络优化与正则化3和注意力机制和外部记忆1
正则化思考泛化性:重新思考模型复杂度和泛化之间的关系所有损害优化的方法都是正则化正则化方法:δ1和δ2的正则化提前停止:权重衰减:丢弃法:DropoutDropout意义:循环神经网络上的丢弃法:要丢都丢数据增强:标签平滑:总结:注意力机制和外部记忆1网络能力注意力机制:例子:阅读理解 传统RNN会出问题 :1.长程依赖问题2.模型容量问题通用近似定理...原创 2020-09-27 09:13:28 · 508 阅读 · 0 评论 -
邱锡鹏 神经网络与深度学习课程【十】——网络优化与正则化1和2
深度学习的矛与盾网络优化的难点高维空间的非凸优化问题: 要逃离鞍点 在某些曲线上是最高点 而在另一些曲线上是最低点这样的点称为鞍点一些可视化的模型 一般都要加上残差网络改善方法:优化算法的改进: 随机GD 改进 为 小批量随机GD MiniBatch批量大小的影响: batch size 属于超参 比较经验性的如何改进?学习率衰减衰减函数: 阶梯衰减 线性衰减等等上面的都是单调衰减 也有周期律学习率调整...原创 2020-09-23 09:15:40 · 260 阅读 · 0 评论 -
邱锡鹏 神经网络与深度学习课程【九】——循环神经网络2和3
应用到机器学习序列到类别:包含h_1、h_2、h_3....h_t所有的历史信息也可以按照取平均值的方法 获取对应类别应用:情感分类同步的序列到序列模式:输入一个x_t对应一个y_t 一个输入加上之前的h_t对应一个输出应用:1.中文分词 这类问题变成序列标注问题 S代表单个词 B代表一个词的开始 E代表一个词的结束2.信息抽取 Information Extraction IE 从无结构的文本中抽取结构化的信息 形成知识异步的序列到序列模式:...原创 2020-09-21 09:22:05 · 785 阅读 · 0 评论 -
邱锡鹏 神经网络与深度学习课程【八】——卷积神经网络3和循环神经网络1
典型的卷积神经网络LeNet-5AlexNetInception网络Inception网络在卷积网络中,如何设置卷积层的卷积核大小是十分关键的问题 Inception网络尝试多种不同的卷积核 最后给堆叠起来使用多层的小卷积核来代替大的卷积核,以减少计算量和参数量残差网络 当时先用一个f(x)来拟合h(x) 但是发现恒等函数拟合效果不好 因此将目标函数拆分为两给部分 恒等函数和残差函数残差单元Ngram特征(N元)与卷积 Bi...原创 2020-09-17 09:28:52 · 483 阅读 · 0 评论 -
邱锡鹏 神经网络与深度学习课程【七】——卷积神经网络1和2
全连接前馈神经网络缺点:参数太多、很难提取局部不变特征卷积神经网络如何实现局部连接和权重共享? 卷积 其中W_i称为滤波器或者卷积核举例:卷积扩展:是因为卷积的维度不够灵活 每次只能卷m-k+1维的数据( m为向量的总维数 k是滤波器的个数 ) 因此引入滑动步长S 零填充P 滑动步长为每隔s次个计算一下卷积 P如果想计算第一个的卷积在第一个卷积前进行填充足够k-1个零两维卷积卷积作为特征提取器 高斯矩阵做平滑处理 这些都是人为设定的 但...原创 2020-09-15 09:06:50 · 374 阅读 · 0 评论 -
邱锡鹏 神经网络与深度学习课程【六】——前馈神经网络2和3
网络结构 各神经元分别属于不同的层 层内无连接 神经元是全连接一些术语:L代表层数 、Mi代表i层神经元的个数、fi()代表i层的激活函数、Wi代表第i-1层到i层的权重矩阵、bi代表了i层的偏置、zi代表i层净输入量、ai代表i层的输出计算过程:通用近似定理:应用到机器学习参数学习应用到机器学习梯度下降如何计算梯度前提知识矩阵微积分矩阵的链式法则反向传播算法计算图与自动微分 每...原创 2020-09-11 09:35:13 · 262 阅读 · 0 评论 -
邱锡鹏 神经网络与深度学习课程【五】——线性模型3和前馈神经网络1
感知器感知器是最简单的神经网络 本质上也是线性分类 输出为+1/-1 为了之后的学习更加方便一些学习方式对于logistic回归更新 logistic 更新都是每一次更新 而感知器更新只是当预测错误的时候才进行更新 并且更新的数值也不一样感知器更新 如果是正的 则同方向走相同的距离,如果是负的,则反方向走相同的距离 不断更新就可以更新获取边界 具有收敛性支持向量机 SVM找到一个边界 使得正负样本到边界的最小距离最大化 起初的方程具有多解 所以对w的模进行...原创 2020-09-09 09:10:32 · 321 阅读 · 0 评论 -
邱锡鹏 神经网络与深度学习课程【四】——线性模型1和2
线性模型分类示例图像分类垃圾邮件过滤文档归类情感分类举例:文本分类 词袋模型线性分类模型线性模型 决策边界都是线性logistic 回归将分类问题看作条件概率估计问题logistic函数 sigmoid函数学习准则提前知识:熵 Entropy 交叉熵 Cross Entropy交叉熵 Cross EntropyKL散度 Kullback-Leibler Divergence...原创 2020-09-07 09:51:54 · 262 阅读 · 6 评论 -
邱锡鹏 神经网络与深度学习课程【三】——机器学习概述2和3
线性回归模型为f(x;w,b)=W^T X +b W为权重向量 X为特征向量 可转为 增广权重向量和 增广特征向量优化方法:经验风险最小化一些线性代数的知识模型以及loss function的推导优化方式:求导结构风险最小化模型与经验风险最小化一致,loss function 有一些区别最大似然估计概率的基础知识似然(Likelihood)在贝叶斯公式的基础上 不要分母上的P(X) 则等号变成正比于从概...原创 2020-09-04 09:10:51 · 359 阅读 · 0 评论 -
邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1
神经网络生物的神经网络:主要是由生物神经元构成 先了解生物神经网络如何学习人工神经元 输入通过加权进入激活函数,激活函数早期为饱和函数 需要连续人工神经网络的搭建 激活规则指就是输入输出之间非线性的函数学习算法一般为BP 但是 拓扑结构变化很灵活根据拓扑结构的不同,大体上分为三种类型,但是大多数网络都是复合型结构,即一个神经网络中包括多种网络结构 图网络更为复杂,应用的范围更广神经网络与复合函数的联系神经网络可以很好的解决贡献度分配问题 主要可以利...原创 2020-09-01 09:33:35 · 396 阅读 · 0 评论 -
邱锡鹏 神经网络与深度学习课程【一】——绪论1和绪论2
绪论神经网络:一种以(人工)神经元为基本单元的模型例如:FNN、MN、GN深度学习:一类机器学习问题,主要解决贡献度分配问题。课程安排:首先讲机器学习、再讲神经网络。之后了解概率图模型为无监督学习做铺垫,强化学习也会涉及。如何开发一个人工智能系统举例:芒果机器学习选取芒果的特征:颜色、大小形状、产地、品牌即输入变量,输出变量为成熟度、多汁或者是否甜蜜深度学习:机器学习可以解决很简单的线性问题,但是对于语义鸿沟是无法跨越的,一般方法不太行,所以需要是使用表征学习。.原创 2020-09-01 09:14:04 · 472 阅读 · 1 评论