神经网络学习
文章平均质量分 79
主要用于记录个人对神经网络的学习与应用
一匹巴尔扎克
这个作者很懒,什么都没留下…
展开
-
np.dot和np.multiply在进行矩阵运算时的计算方法
在进行矩阵运算时需要满足矩阵的乘法原则: 矩阵AxB必须满足A(mxn),B(nxp),即A的列数要等于B的行数。原创 2024-04-01 10:31:48 · 218 阅读 · 1 评论 -
Transformer 模型的学习记录
transformer 模型是谷歌团队在2017年发表的一篇论文《Attention is all you need》中提出的一种模型架构。Transformer 的出现颠覆了以往序列建模和RNN划等号的思路,现在被广泛应用于NLP的各个领域。目前在NLP各业务全面开花的语言模型如GPT, BERT等,都是基于Transformer模型。 Transformer在处理NLP问题时与传统RNN模型最大的不同就是其引入了attention机制,从而改变了在seq2seq任务中...原创 2021-07-27 12:08:04 · 227 阅读 · 0 评论 -
深度学习中的过拟合问题及优化方法
在机器学习以及深度学习的模型训练中,我们都希望模型能够在训练集的迭代训练下得到良好的现实数据拟合能力,为此,我们往往会增加模型的复杂度以以获得更好的训练效果。但在更多情况下我们的模型会出现过拟合的问题。所谓的过拟合就是模型的复杂度过高,拟合学习能力强,以至于把训练集的一些非一般性特征都学习到了模型里,实际表现就是模型在训练集的表现很好,但是在测试集上的表现较差,这就是我们所说的过拟合。从偏差和方差的角度来看,过拟合就是高方差的表现。 解决过拟合的问题主要是通过正则化的方法,...原创 2021-07-22 11:04:52 · 2513 阅读 · 0 评论 -
RNN:循环神经网络的基本知识
RNN(Recurrent Neural Network),又称循环神经网络。RNN是一类用于处理序列数据的神经网络,所谓的序列数据就是指这一些列的数据其前后的输入数据是有关联的,序列前面的数据特征有可能影响到序列后面的数据。如文字数据“我喜欢吃苹果”,在“我喜欢”的后面最有可能加的是名词或者动词,这就是所谓的序列数据中序列数据之间的影响作用。根据序列数据的特征,产生了RNN神经网络,RNN能处理序列的输入,发现前后输入的关系,对比起其它神经网络如CNN只能接受独立的输入,这是RNN与CNN...原创 2021-07-20 15:34:25 · 3720 阅读 · 0 评论 -
CNN 卷积神经网络的学习记录(基础概念篇)
卷积神经网络又称为CNN,在类别上是属于前馈神经网络的一种,是深度学习的代表算法之一。在上世纪八十年代末被提出之后一直处于沉寂之中,进入2010年后,随着计算机理论知识和计算机硬件算力的不断发展卷积神经网络又开始热门起来。如今CNN已经发展出了十数种十分具有代表性的模型,CNN也已广泛应用于计算机视觉、自然语言处理等领域。一、CNN 的代表模型LeNet5(1994),AlexNet(2012),VGG(2014),Google Net(2014), Inception-V1, Inc...原创 2021-07-16 10:12:26 · 234 阅读 · 0 评论