![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
ann0302
这个作者很懒,什么都没留下…
展开
-
Transformer
传统的RNN网络无法并行计算,只能一个一个输入词,而Transformer可以做并行计算。TransformerSelf-Attention当我们对一个词做编码时,不是简简单单只考虑当前的词,而是要考虑当前词的上下文语境,要把整个上下文语境融入到当前词的词向量中。...原创 2021-09-27 10:54:52 · 313 阅读 · 0 评论 -
SVM支持向量机
想要知道新拿到的水果是梨还是苹果,除了用KNN画个圈,像下面这样,画条线也不错,通过将两者所在的空间做出区分,当新样本落在苹果一侧时,我们就认为它是苹果,反之,则为梨。这条线就是SVM。听上去很简单,但是这条线我们可以用不一样的画法画,哪条线才是最合适?除了界限,样本与线的距离同样有意义,它代表着样本分类的可信程度,以苹果这一侧为例,与线距离最远的苹果是苹果的可能性最高;离得越近是苹果的可能性就越低我们的目标是在两种样本间找到能让所有样本的分类可信程度最高的那条线。...原创 2021-07-31 16:30:18 · 101 阅读 · 0 评论 -
BP反向传播
神经网络是一个好工具,但是就像有的刀削铁如泥,有的却只能拿来切豆腐,真正决定神经网络好不好用的,是神经元之间连接的权重和神经元的阈值,如何确定这些数字,大部分我们使用的都是反向传播,也就是BP算法,BP算法的思想非常简单,即根据网络输出的答案与正确答案之间的误差,不断调整网络的参数。假设我们正在训练一个图片分类网络,输入一张图片逐步向前计算后,网络会给出它属于某一类事物的概率,由于每个神经网络的初始参数是随机赋予的,大部分时间网络参数都不尽如人意,这时我们可以根据网络输出与正确答案之间的差距,从最后一原创 2021-07-31 16:16:17 · 305 阅读 · 0 评论 -
随机森林和决策树
随机森林森林里有很多树,随机森林里有很多决策树。随机森林是决策树的升级版,随机指的是树的生长过程,世界上没有两片相同的树叶,随机森林中的树也各不相同,在构建决策树时,我们会从训练数据中有放回的随机选取一部分样本,同样的我们也不会选取数据的全部特征,而是随机选取部分特征进行训练。每棵树使用的样本和特征各不相同,训练的结果自然也不同。为什么要这么做?在训练的最初,我们并不知道哪些是异常样本,也不知道哪些特征对训练的结果影响更大,随机的过程降低了两者对分类结果的影响。随机森林的输出结果由投票决定,如果大部原创 2021-07-31 11:21:06 · 1377 阅读 · 2 评论 -
神经网络CNN、RNN、GNN
CNN、RNN、GNN这么多的神经网络有什么区别和联系?先聊聊什么是神经网络吧我们的目标是打造人工智能,拥有智慧的大脑无疑是最好的模仿对象。人脑中约有860亿个神经元,这被认为是我们能够思考的原因。神经元有一个细胞体和很多突触组成,能处理电信号,并将它们传递到该去的地方,仿照人脑神经元和工作原理,人们构建了神经网络,一个由节点连接而成的网,我们同样会称呼这些节点为神经元,不过它是一个抽象概念,大部分时间都被用来存储数字,神经突出则被抽象为有权重的连接,决定了数字将如何改变以及传递给哪些神经元。神经网络原创 2021-07-30 18:38:42 · 3183 阅读 · 1 评论 -
RNN循环神经网络
在识别图像时,输入的每张图片都是孤立的,认出的这张图片是苹果,并不会对认出下一张图片是梨造成影响。但对于语言来说,顺序是十分重要的,“我吃苹果”和“苹果吃我”,词语顺序的改变表达了不同的意义,顺序也提供了一定的意义,比如“吃”后面大概率是代表事物的名词。为了捕捉数据的这种关联,人们找到了RNN,一个高度重视序列信息的网络,序列就是数据的前后关系,RNN的基础仍然是神经网络,只不过它多了一个小盒子,用来记录数据输入时,网络的状态。在下一次输入数据时,网络必须要考虑小盒子中保存的信息,随着数据的一次次输入,存原创 2021-07-30 18:16:50 · 296 阅读 · 0 评论 -
LSTM长短时记忆模型
RNN有一定的记忆能力,但是只能保留短期记忆,在各类任务上表现并不好。人类的记忆是有取舍的,我们不会记住每时每刻发生的所有事,会有选择的留下重要的,丢掉不重要的,参考这种记忆机制,人们改造了小盒子,并找到门这种记忆机制,门是用来决定信息如何保留的小开关,它的数值在0~1之间,1是完全保留,0是完全舍弃。新的小盒子上有三个门,其中遗忘门决定了小盒子里要保留多少原有信息,也就是丢掉哪些不重要的记忆;输入门决定了当前网络信息有多少要被保存在小盒子里,也就是记住哪些新东西;输出门决定了多大程度的输出小盒子中的信原创 2021-07-30 17:07:46 · 356 阅读 · 0 评论 -
pytorch
原创 2021-03-05 21:10:05 · 102 阅读 · 0 评论 -
04 | 函数与优化方法:模型的自我学习(上)
1.损失函数模型的学习,实际上就是对参数的学习,而参数学习的过程需要一系列的约束,这个约束就是损失函数。模型一开始什么也不知道,我们要给它更多的数据。模型每次拿到数据都要将自己的输出和真实的结果进行比较,如果偏差很大,它就要对这个偏差进行反馈,想办法减少这种偏差,也就是学习更多的特征,直到学会如何对输入数据进行正确的判断。假设真实函数为F(x),拟合出来得函数式为f(x),对于每一个样本点,真实值和拟合值之间就存在了一个误差。通过一个公式来表示这个误差,下面这个函数就称为损失函数,用来表示用拟合函数来原创 2020-11-09 21:36:26 · 644 阅读 · 0 评论 -
05 | 前馈网络与反向传播:模型的自我学习(下)
模型学习的计算过程具体是怎样的?1.前馈网络(FNN)前馈神经网络简称前馈网络,是一种单向的多层结构,也是最简单的神经网络。X1,X2,X3,X4为输入数据,中间5个黄色的圆点表示有5个神经元的第一层和3个黄色的圆点表示有3个神经元的第二层,第一层和 第二层是模型的内部环节,称为隐藏层。实际网络中,隐藏层可以有很多层,不局限于2层,绿色的圆点是网络的最后一层,称为输出层。神经元的单向箭头连线就是两个节点之间的权重。前馈网络中的前馈指的是这个网络中的每一层神经元产生信号之后会传递到下一层,而下一层的神原创 2020-11-09 19:55:45 · 905 阅读 · 0 评论 -
02|从神经元说起:结构篇
1.深度学习的起源2.神经元神经元与单层感知机深度学习的算法,基本都是一层一层的复杂的网络结构,这种网络称为“人工神经网络”。它是卷积神经网络的基础。人工神经网络是由一个个神经元组成的,神经元的人工神经网络中最基础的计算单元。神经元接受前一层的输入,经过处理,会有一个输出,就像下面这张图一样。z的计算方式如下,其中,x1,x2,…,xk是输入,w1,w2,…,wk是权重,b为偏移项,δ为激活函数。把前两个图结合,就可以得到神经元的具体组成:一个神经元是由输入、权重、偏移项、原创 2020-10-30 09:56:43 · 662 阅读 · 0 评论 -
01|经元说起,数学篇
线性代数部分知识点回顾范数是一种距离的表示(曼哈顿距离),或者说向量的长度。L0范数指这个向量中非0元素的个数。可以通过L0范数减少非零元素的个数,从而减少参与决策的特征,减少参数。L1范数指的是向量中所有元素的绝对值之和。它也被称为稀疏规则算子。为什么要实现权值稀疏呢?在设计模型的过程中,我们有时会使用到大量的特征,有一部分特征对于最后结果的贡献非常小,甚至近乎于0,这些用处不大的特征,我们希望能够将其舍弃,以更方便模型做出决策。L2范数指的是向量中所有元素平方和的平方根。也叫“岭回归”和原创 2020-10-23 19:43:13 · 147 阅读 · 0 评论 -
03|AI术语:让你变得更加专业
1.训练深度学习有很多算法,每种算法都有自己的模型结构,还需要知道结构中的参数。确定模型中的参数的过程就称为“训练”。训练是一个迭代的过程,模型一般会遍历训练数据很多遍。也就是对手头的数据进行学习,每一次遍历都会更新一次或若干次参数。看的次数越多,领悟的内容就越丰富。2.训练集在训练阶段使用的数据称为“训练集”。训练集的质量决定了模型的质量。如果训练集的质量很低,就不可能获得一个性能很好地模型。3.Epoch遍历一遍训练数据就叫作“一个Epoch”训练模型的时候我们要告诉模型预计训练多少原创 2020-10-30 11:37:15 · 188 阅读 · 0 评论