神经网络
神经网络
cute_Lily
这个作者很懒,什么都没留下…
展开
-
神经网络中的激活函数
1 常用的激活函数1.1 Sigmod 激活函数f(z)=11+exp(−z)f(z)=\frac{1}{1+\exp (-z)}f(z)=1+exp(−z)1导函数:f′(z)=f(z)(1−f(z))f'(z) = f(z)(1-f(z))f′(z)=f(z)(1−f(z))1.2 Tanh 激活函数f(z)=tanh(z)=ez−e−zez+e−zf(z)=tanh(z)=\frac{e^z - e^{-z}}{e^z + e^{-z}}f(z)=tanh(z)=ez+e−zez−e−原创 2020-09-26 11:00:36 · 918 阅读 · 1 评论 -
多层感知机的反向传播算法
1 基本概念前向传播多层感知机中,输入信号通过各个网络层的隐节点产生输出的过程称为前向传播。图形化表示下图展示了一个典型的多层感知机定义第 (l)(l)(l) 层的输入为 x(l)x^{(l)}x(l)在每一层中首先利用输入 x(l)x^{(l)}x(l) 计算仿射变换 z(l)=W(l)x(l)+b(l)z^{(l)}=W^{(l)} x^{(l)} + b^{(l)}z(l)=W(l)x(l)+b(l)然后激活函数 fff 作用于 z(l)z^{(l)}z(l),得到 a(l)=f(原创 2020-09-26 18:41:05 · 2626 阅读 · 0 评论 -
神经网络的注意力机制(Attention)
1 注意力的简介注意力机制也称为:“神经网络的注意力”,或者更简单的:“注意力”。人脑在工作时,其实是由一定的注意力的,比如我们在浏览器上搜索时,大部分的注意力都集中在搜索结果的左上角,这说明大脑在处理信号的时候是有一定权重划分的,而注意力机制的提出正是模仿了大脑的这种特性。神经网络的注意力就是说,神经网络具有将注意力集中到一部分输入(或特征)的能力。(1)为什么引入注意力机制呢?计算能力的限制:目前计算能力依然是限制神经网络发展的瓶颈,当输入的信息过多时,模型也会变得更复杂,通过引入注意力,可原创 2020-10-16 14:34:27 · 23564 阅读 · 1 评论 -
生成式对抗网络(Generative Adversarial Networks, GANs)
1 GANs 的结构生成式对抗网络 GANs 包括两个部分:生成器(Generator) :用于生成“假”样本。生成器从先验分布中采得随机信号,经过神经网络的变换,得到模拟样本。判别器(Discriminator) :用于判断输入的样本是真实的还是合成的。判别器既接收来自实际数据集的真实样本,也接收来自生成器的模拟样本,判别器需要判断输入的样本是真实数据还是生成器的模拟(假)数据。从上面可以看出,生成器和判别器是对抗的关系,生成器要尽可能生成出让判别器失败的样本,而判别器要尽可能识别出生成器的假原创 2020-10-14 20:39:47 · 1943 阅读 · 0 评论