人工智能专题研究
文章平均质量分 95
分专题系列整理人工智能知识模块
日拱一两卒
日拱一卒无有尽、功不唐捐终入海
展开
-
LSTM返向传播代码实现——LSTM从零实现系列(4)
LSTM返向传播代码实现原创 2022-12-19 11:59:12 · 1450 阅读 · 1 评论 -
LSTM前向传播代码实现——LSTM从零实现系列(3)
lstm前向传播代码实现原创 2022-12-16 08:15:00 · 2246 阅读 · 0 评论 -
LSTM反向传播原理——LSTM从零实现系列(2)
lstm反向传播原理原创 2022-12-08 21:06:59 · 3925 阅读 · 11 评论 -
LSTM内部结构及前向传播原理——LSTM从零实现系列(1)
LSTM前向传播原理原创 2022-12-05 22:33:44 · 5060 阅读 · 4 评论 -
CNN反向传播源码实现——CNN数学推导及源码实现系列(4)
解析CNN算法逻辑、前向和反向传播数学原理、推导过程、以及CNN模型的源码实现上。原创 2022-10-31 13:53:23 · 1450 阅读 · 2 评论 -
CNN前向传播源码实现——CNN数学推导及源码实现系列(3)
CNN卷积网络的源码实现,以及数据在模型中流转的详细说明原创 2022-10-24 12:01:11 · 1533 阅读 · 1 评论 -
CNN前向/反向传播原理推导——卷积网络从零实现系列(2)
CNN前向和反向传播的原理和详细数学推导过程,属于进阶内容原创 2022-10-09 10:58:56 · 2081 阅读 · 4 评论 -
CNN前置知识:模型的数学符号定义——卷积网络从零实现系列(1)
CNN数学推导及源码实现系列前置课程,介绍CNN推导要用到的一些数学表示方法原创 2022-09-22 23:53:30 · 2008 阅读 · 2 评论 -
Keras各种常用参数使用说明(笔记)
1.stateful用法https://www.imooc.com/article/44094https://www.jianshu.com/p/0c65b47cd6fb2.按照比例分割数据为测试集和训练集# validation_split=0.33是分割数据的比例,表示1/3作为测试数据model2.fit(X, y, validation_split=0.33, epo...原创 2019-10-14 10:19:26 · 823 阅读 · 0 评论 -
机器学习到底是否适合用于金融数据?看看大佬们怎么说
上个月最后一次看到书上的这段内容之后,就没有再翻过《python深度学习》这本书,觉得信仰没了。我本相信机器学习在金融市场的数据量化交易上拥有无限可能,但Keras之父并不认为机器学习对金融市场有效。并用了一个经典的比喻:“靠观察后视镜是没办法开车的。”如果是别人说的也就算了,毕竟是Keras之父,毕竟以后准备用Tensorflow作为数据分析的主要工具。突然觉得自己走错了路。颓...原创 2019-03-19 17:45:21 · 1462 阅读 · 1 评论 -
神经网络L1、L2正则优化方法及区别——神经网络的数学基础原理(6)
一、权重正则化权重正则化本质上是为了避免神经网络拟合的模型过于复杂或者出现过拟合现象。数学公式可以表示如下所示,其中R(w)表示模型的复杂度,J(θ)是原有的损失函数,J'(θ)是叠加网络复杂度后的新损失值。至于网络复杂度后面再解释。 这个公式的意义是,如果在优化网络模型时,损失...原创 2019-10-13 15:27:50 · 1207 阅读 · 0 评论 -
如何调整神经网络的学习率——神经网络的数学基础原理(5)
一、学习率概念学习率是个抽象又简单的概念,神经网络的学习率指的是神经网络对数据进行学习的速率。神经网络学习的过程就是权重更新的过程,权重更新公式如下,其中η表示学习率: 其原理我们已经在上一篇文章中讲过,传送链接:梯度下降优化算法——神经网络的数学基础原理(4)从...原创 2019-10-13 10:43:08 · 4971 阅读 · 0 评论 -
梯度下降优化算法原理——神经网络的数学基础原理(4)
一、神经网络的优化算法在BP神经网络的范畴中,一般说到优化算法,指的就是梯度下降。梯度下降的公式可以表示如下,其中J(θn)表示要优化的损失函数,η表示学习率: 至于梯度下降公式的原理,之前有文章介绍过,传送门:神经网络权重更新的原理和方法——softmax前世今生系列(7)因此假设损失函数如下...原创 2019-10-10 13:32:48 · 1524 阅读 · 0 评论 -
什么是深层神经网络、浅层神经网络——神经网络的数学基础原理(3)
一、什么是深度神经网络上一篇文章我们讲到了不含激活函数的线性神经网络,这种网络一般来说是浅层神经网络,知道了在线性结构中,由于线性模型自身的局限性,线性深层神经网络变得没有意义,因为多个线性隐含层最终可以合并成单层。任意层的全连接神经网络和单层神经网络模型的表达能力没有任何区别。本文介绍一下深层神经网络,也就深度神经网络或深度学习。区别于传统的浅层学习,深度学习的不同在于:(1)强调了...原创 2019-08-12 14:48:13 · 11454 阅读 · 6 评论 -
softmax函数名字的由来(代数&几何原理)——softmax前世今生系列(2)
导读:softmax的前世今生系列是作者在学习NLP神经网络时,以softmax层为何能对文本进行分类、预测等问题为入手点,顺藤摸瓜进行的一系列研究学习。其中包含:1.softmax函数的正推原理,softmax的代数和几何意义,softmax为什么能用作分类预测,softmax链式求导的过程。2.从数学的角度上研究了神经网络为什么能通过反向传播来训练网络的原理。3.结合信息熵理论...原创 2019-07-16 17:03:06 · 7334 阅读 · 15 评论 -
BP神经网络中交叉熵作为损失函数的原理——softmax前世今生系列(4)
导读:softmax的前世今生系列是作者在学习NLP神经网络时,以softmax层为何能对文本进行分类、预测等问题为入手点,顺藤摸瓜进行的一系列研究学习。其中包含:1.softmax函数的正推原理,softmax的代数和几何意义,softmax为什么能用作分类预测,softmax链式求导的过程。2.从数学的角度上研究了神经网络为什么能通过反向传播来训练网络的原理。3.结合信息熵理论...原创 2019-07-18 22:44:21 · 5614 阅读 · 2 评论 -
神经网络中的softmax层为何可以解决分类问题——softmax前世今生系列(3)
导读:softmax的前世今生系列是作者在学习NLP神经网络时,以softmax层为何能对文本进行分类、预测等问题为入手点,顺藤摸瓜进行的一系列研究学习。其中包含:1.softmax函数的正推原理,softmax的代数和几何意义,softmax为什么能用作分类预测,softmax链式求导的过程。2.从数学的角度上研究了神经网络为什么能通过反向传播来训练网络的原理。3.结合信息熵理论...原创 2019-07-18 00:30:41 · 45912 阅读 · 22 评论 -
神经网络权重更新的原理和方法——softmax前世今生系列(7)
导读:softmax的前世今生系列是作者在学习NLP神经网络时,以softmax层为何能对文本进行分类、预测等问题为入手点,顺藤摸瓜进行的一系列研究学习。其中包含:1.softmax函数的正推原理,softmax的代数和几何意义,softmax为什么能用作分类预测,softmax链式求导的过程。2.从数学的角度上研究了神经网络为什么能通过反向传播来训练网络的原理。3.结合信息熵理论...原创 2019-07-26 11:09:25 · 8064 阅读 · 9 评论 -
神经网络正向传播及反向传播原理分析——softmax前世今生系列(5)
导读:softmax的前世今生系列是作者在学习NLP神经网络时,以softmax层为何能对文本进行分类、预测等问题为入手点,顺藤摸瓜进行的一系列研究学习。其中包含:1.softmax函数的正推原理,softmax的代数和几何意义,softmax为什么能用作分类预测,softmax链式求导的过程。2.从数学的角度上研究了神经网络为什么能通过反向传播来训练网络的原理。3.结合信息熵理论...原创 2019-07-21 17:44:41 · 3510 阅读 · 5 评论 -
手动推导softmax神经网络反向传播求导过程——softmax前世今生系列(6)
导读:softmax的前世今生系列是作者在学习NLP神经网络时,以softmax层为何能对文本进行分类、预测等问题为入手点,顺藤摸瓜进行的一系列研究学习。其中包含:1.softmax函数的正推原理,softmax的代数和几何意义,softmax为什么能用作分类预测,softmax链式求导的过程。2.从数学的角度上研究了神经网络为什么能通过反向传播来训练网络的原理。3.结合信息熵理论...原创 2019-07-23 07:01:30 · 3964 阅读 · 14 评论 -
多层神经网络反向传播推导过程详解——softmax前世今生系列(8)
导读:softmax的前世今生系列是作者在学习NLP神经网络时,以softmax层为何能对文本进行分类、预测等问题为入手点,顺藤摸瓜进行的一系列研究学习。其中包含:1.softmax函数的正推原理,softmax的代数和几何意义,softmax为什么能用作分类预测,softmax链式求导的过程。2.从数学的角度上研究了神经网络为什么能通过反向传播来训练网络的原理。3.结合信息熵理论...原创 2019-08-01 23:36:18 · 3553 阅读 · 12 评论 -
激活函数和神经网络间的关系详解——神经网络的数学基础原理(1)
一、线性函数和非线性函数函数表达式是一元一次方程,函数的图形是一条直线,这样的的函数就是线性函数。常数也是一种线性函数。除此之外的函数都是非线性函数。如指数函数,对数函数,三角函数,二次函数,分段函数等,都是非线性函数。二、网络引入非线性函数的意义由于线性函数等价于一元一次函数,因此多个一元一次函数叠加最终的结果化简后依然是一个简单的一元一次函数。而非线性方程种类多种多样,两个不同类型...原创 2019-08-09 16:31:53 · 2891 阅读 · 8 评论 -
全连接网络的算法原理——神经网络的数学基础原理(2)
一、全连接层的网络结构所谓全连接神经网络,就是由全连接层组成的网络。简单的全连接层网络一般分为三层,分别是输入层,隐含层,输出层。当然在输出层后面还可以添加分类层,或者损失函数等特殊处理层。对于全连接神经网络来说,网络中每一层的每一个结点都与相邻网络层的每一个结点相连,用来把前边提取到的特征综合起来。由于其全相连的特性,一般全连接层的参数也是最多的。据说能占到整个网络的80%。抛开...原创 2019-08-12 02:01:58 · 9621 阅读 · 16 评论 -
softmax函数的正推原理——softmax前世今生系列(1)
导读:softmax的前世今生系列是作者在学习NLP神经网络时,以softmax层为何能对文本进行分类、预测等问题为入手点,顺藤摸瓜梳理了整个神经网络工作的基本原理。其中包含:1.softmax函数的正推原理,softmax的代数和几何意义,softmax为什么能用作分类预测,softmax链式求导的过程。2.从数学的角度上研究了神经网络为什么能通过反向传播来训练网络的原理,神经网络的...原创 2019-07-14 21:53:30 · 8388 阅读 · 11 评论