神经网络学习
喷火龙与水箭龟
心若无异,万法如一
展开
-
泛统计理论初探——初探GPT模型
神经网络学习-初探GPT模型思路初探GPT思路 在之前的文章我们聊过transformer机制和bert模型的思路,其实transformer是一种理论的框架模型,而bert则是用了transformer模型的编码层构建得出的一个近似工程的模型,今天所介绍的GPT模型的全称是Generative Pre-Training,中文名字是生成式预训练模型,这种模型和bert模型最大的区别就是它使用的是transformer模型的解码层,也就是decoder部分的框原创 2020-12-31 20:00:31 · 870 阅读 · 2 评论 -
泛统计理论初探——初探Bert模型
神经网络学习-初探Bert模型思路初探Bert思路 在上一次的文章我们介绍过transformer机制的思路,是使用了6层encoder编码层和6层decoder解码层构建得出的,而在本文中我们将会介绍Bert的原理和思路,在介绍之前会先探讨Pre-training和Fine-tuning的思路,从而帮助读者更好地去理解Bert的方法和原理。 首先我们来介绍预训练Pre-training和微调Fine-tuni原创 2020-12-26 21:28:58 · 443 阅读 · 0 评论 -
泛统计理论初探——初探transformer机制
神经网络学习-初探transformer机制和思路初探transformer机制 在之前的文章里,我们探讨的是关于Seq2Seq和attention机制的原理,在本次文章中我们将会介绍现在比较受欢迎的transformer机制,这种机制是使用了6层encoder编码层和6层decoder解码层来构建的,并且利用self-attention机制,同时在decoder解码层的每一层都和encoder编码层做了注意力机制的计算,从而使得这个transformer的原创 2020-12-20 10:47:03 · 496 阅读 · 3 评论 -
泛统计理论初探——再谈注意力机制模型
神经网络学习-再谈注意力机制再谈Attention注意力机制 在上一篇文章中,我们介绍了Seq2Seq基本原理和使用attention机制的效果,本次文章将继续深入讨论注意力机制的原理,进一步弄懂为什么引入注意力机制后模型的准确性得以提升。注意力机制其实最早是使用在图形识别的领域,当使用者使用了注意力机制后,比传统的CNN的识别效果要更好。而这种注意力机制和人类在阅读的时候的机制很相似,因为人在阅读的时候不是一行行去阅读,有时候会跳跃阅读,并且在阅读当前词语原创 2020-12-12 21:07:13 · 513 阅读 · 1 评论 -
泛统计理论初探——初探Seq2Seq
神经网络学习-介绍Seq2Seq和Bi-LSTM再谈LSTM的优化和双向LSTM原创 2020-12-06 09:51:32 · 485 阅读 · 0 评论 -
泛统计理论初探——再谈长短期记忆网络与变种优化
神经网络学习-介绍GRU和Bi-LSTM再谈LSTM的优化和双向LSTM 在上一篇文章中,我们介绍了LSTM长短期记忆网络,这种网络其实是RNN循环神经网络的一个变种网络,而在这个基础上还有一种门控神经网络GRU,全称是Gated Recurrent Unit ,翻译过来就是门控循环单元神经网络。那么这种网络最大的特点是在LSTM的基础上做了一个简化,在减少参数的同时使得预测效果几乎和LSTM的预测效果相同。原创 2020-11-28 09:46:06 · 533 阅读 · 0 评论 -
泛统计理论初探——初步理解长短期记忆网络
神经网络学习-介绍长短期记忆网络LSTM初探长短期记忆网络 在之前的文章中,我们介绍过循环神经网络RNN的原理,但由于RNN无法对更长的信息进行处理和使用,所以需要引入一种基于RNN的变种的神经网络,也就是所谓的LSTM长短期记忆神经网络。这种网络可以很好地处理间隔较长的信息,也就是自然语言处理中常见的上下文信息,可能在实际情况下预测当前词汇所需要用到的信息在几句话之前或者是上一个段落,这种时候通过LSTM特有的结构可以较好地利用这些信息,下面我们来对LST原创 2020-11-21 19:55:50 · 501 阅读 · 0 评论 -
泛统计理论初探——初步理解循环神经网络
神经网络学习-介绍循环神经网络RNN初步理解循环神经网络 在文本处理的问题中,最开始是使用的TF-IDF、马尔可夫链、条件随机场等方法,后续有人将BP神经网络使用在文本相关的处理,但是效果也比较一般。之前介绍过BP神经网络和卷积神经网络,此类神经网络其实都不是最适合处理文本问题的,因为文本类的问题天然地需要结合上下文进行处理,而传统的神经网络、卷积神经网络等由于网络结构特点的原因,处理文本类的问题是不适合的,因此需要引入循环神经网络RNN进行处理,下面开始介原创 2020-11-14 10:58:28 · 510 阅读 · 0 评论 -
泛统计理论初探——深度残差网络的简介
神经网络学习-介绍深度残差神经网络深度残差网络简介 之前在一些文章里,我们介绍过BP神经网络、卷积神经网络等常见的神经网络,在这些网络里当每一次使用激活函数的时候,都会导致训练后期的梯度消失问题,因为这是由于激活函数的非线性所造成的,这就是在某些问题里,增加神经网络的层数是无法再提升预测的准确性的,有时候甚至会降低预测准确率。而按我们正常的思路去理解,深度越深的神经网络肯定不会比深度越小的预测效果差,至少我们在深度较小的神经网络后面都叠加恒等映射就可以达到这原创 2020-11-08 10:56:35 · 574 阅读 · 0 评论 -
泛统计理论初探——再探卷积神经网络
神经网络学习-卷积神经网络之池化理解卷积神经网络的池化操作 在上一篇的文章中,我们介绍了卷积神经网络的两个特点,即参数共享和稀疏性,通过这些特点使得卷积神经网络使用在图像识别上是比较有成效的,因为这种网络结构和参数情况是天然适应那些目标识别类的问题的,但与此同时,卷积神经网络里非常重要的一步“池化操作”在之前的文章还没有介绍,本次文章将会就这个步骤进行介绍。值得注意的是,池化操作在一般情况下是不对一块区域反复进行操作的,也就是每一次池化操作是针对的不同区域。原创 2020-10-31 10:03:45 · 606 阅读 · 0 评论 -
泛统计理论初探——初探卷积神经网络
神经网络学习-初探卷积神经网络方法初步理解卷积神经网络 在之前的文章中,我们介绍过最简单的神经网络,当没有非线性激活函数的时候,这种神经网络其实就是多层感知机,或者说就是一个线性模型。而在后面也介绍了BP神经网络,这种神经网络加入了非线性的激活函数以及负反馈的机制,从而使得神经网络的预测准确性提升了一个档次。在本文中,我们将会初步介绍卷积神经网络,也就是俗称CNN的神经网络,这种卷积神经网络在图像识别刚开始火的时候应用非常广泛,下面我们来介绍卷积神经网络。原创 2020-10-24 09:31:29 · 560 阅读 · 0 评论 -
泛统计理论初探——初探文本相似性计算
神经网络学习-初探句子相似性衡量方法初探NLP常见的句子相似性算法 在本次文章中将会讨论计算句子相似度的常见算法,主要是以距离为主的简单方法。作者将会以中文为例,举一些比较常见的例子进行说明。中文语句的相似性计算是有很多方法的,本文主要是讲述几种距离方法,比如杰卡德系数、汉明距离、编辑距离、jaro距离等常见算法。下面我们开始对这些计算句子相似性的算法进行介绍。 首先介绍汉明距离,该距离是从信息论中引申出来的一原创 2020-09-12 10:28:43 · 633 阅读 · 0 评论 -
泛统计理论初探——初探遗传算法
神经网络学习-初探遗传算法遗传算法理解与思路探讨 本文将会简要的介绍遗传算法,该方法也是一种启发式搜索的算法,它是来源于生物学进化规律的经典概念,就是适者生存、优胜劣汰的思路。该算法是上个世纪70年代被提出的,它不需要像神经网络之类的方法需要对函数的连续性有要求,而是可以使用基于概率的思路去进行搜索,结合遗传、变异、选择的思路进行搜索,具有更好的全局搜索最优点的能力,该算法在各个行业应用广泛,比如信号处理、自动化控制、组合优化等领域。遗传算法基本的步骤和生物原创 2020-08-07 20:04:54 · 734 阅读 · 0 评论 -
泛统计理论初探——初探粒子群算法
神经网络学习-初探粒子群算法理解粒子群算法思路 在上一篇介绍搜索的文章中,我们谈到了关于模拟退火算法的思路和算法实现步骤,模拟退火算法是一种启发式的搜索方法,可以使用在各个领域。本次文章中需要介绍的是粒子群算法,该算法是一种基于鸟类群体寻找食物的算法,因而也称之为“鸟群算法”,通过整个鸟群的集体搜索,找出全局的最优点,因此该算法其实也是一种启发式搜索算法,并且是类似“群智感知”的一种处理思路。该算法的核心思路其实是通过信息的共享,根据群体的最优和个体的最优进行选择,反复原创 2020-08-01 20:55:44 · 652 阅读 · 0 评论 -
泛统计理论初探——初探模拟退火算法
神经网络学习-初探模拟退火算法理解模拟退火思路 在之前的文章中,我们介绍了不同的搜索策略,比如贪心搜索、穷举搜索,以及结合两种方法的束搜索。但从某种角度来说,这些搜索方法都是简单搜索。在数据量比较大的情况下,使用上述的几种方法可能搜索的速度较慢或者得到的结果不一定是最优的。所以我们会在后续的几篇文章中介绍启发式搜索方法,启发式搜索的方法有很多,比如蚁群算法、粒子群算法、遗传算法、模拟退火算法等。那么下面我们将介绍模拟退火算法的思路和基本的步骤。原创 2020-07-25 09:08:58 · 643 阅读 · 0 评论 -
泛统计理论初探——初探束搜索
神经网络学习-初探束搜索理解束搜索思路 在本次文章中会介绍束搜索的思路和使用场景,并结合实际的简单例子进行说明。束搜索是一种在自然语言处理中常用的搜索方式,它全称是集束搜索,也就是Beam-Search,通常认为该方法也是一种启发式的搜索方式。 在介绍束搜索之前,我们先来了解两种比较极端的搜索方式,第一种是穷举搜索、第二种是贪心搜索。对于穷举搜索来说,顾名思义就是搜索所有的可能结果,对于自然语言处理来说,就是遍历所有可能的上下文,计算原创 2020-07-18 10:01:26 · 635 阅读 · 0 评论 -
泛统计理论初探——激活函数初探
神经网络学习-初探激活函数理解激活函数在之前的文章中,我们谈到了神经网络的结构和基本思路,并且提及了激活函数。在本次文章中,我们来具体比较几种常见的神经网络,寻找它们之间的共同特点和不同之处。激活函数是神经网络中非常重要的角色,激活函数的好坏可以决定神经网络最终的准确率和稳健性。激活函数在神经网络中扮演的角色其实是一种非线性的映射形式,所以我们看到的绝大多数激活函数都是非线性函数。在神经网络...原创 2020-01-11 11:45:59 · 762 阅读 · 0 评论 -
泛统计理论初探——BP神经网络初探
神经网络学习-初探BP神经网络理解BP神经网络众所周知,从上世纪80年代开始,有关神经网络的研究就早已开始。而BP神经网络作为经典的神经网络代表,是经常被各个领域的学科所使用的,比如预测股票、预测房价等。BP神经网络其实应该被称之为反向传播神经网络,由于最初在神经网络出现的时候,预测效果较为一般,神经网络本身无法受实际预测情况进行调整,所以出现了反向传播的思路。反向传播指的是当通过神经网络的预...原创 2020-01-04 20:01:43 · 795 阅读 · 0 评论