cw199731的博客

1.0 sigmoid激活函数函数表达式：f(x) = 1 / (1 + exp(-x))导数表达式：g(x) = f(x)*(1-f(x))函数图像：特点：1）反向传播算法求解梯度时要进行链式求导，即各个偏导数相乘。由sigmoid导数图像可以看出，当偏导数取值在两边接近0时，连乘得结果会导致所得结果无限接近0，即造成梯度消失现象。2）幂运算复杂，训练时间长3）输出非0均值，收敛慢tensorflow语法：tf.nn.sigmoid(x)2.0 Tanh函数函数表达式：f(x) =

背景：1.环境：基于tensorflow 2.0 python2.网络结构：单层全连接网络结构、4个输入结点，3个输出结点3.训练损失函数：mse4.评价指标：准确率import tensorflow as tffrom sklearn import datasetsfrom matplotlib import pyplot as pltimport numpy as np# 导入数据，分别为输入特征和标签x_data = datasets.load_iris().datay_dat

本篇主要涉及深度学习中相关的数学知识讲解的函数都是充分光滑的函数1. 导数1.1. 导数严格定义：假设如下图片：y轴是位移，x是时间，现在要求特定点的瞬时速度。直观上抠出任意时刻的一点得到的瞬时速度为0，但是如果任意时刻都为0的话，那么不就没有位置变化了吗？这个问题其实就是著名的飞矢不动悖论。但我们知道单单抠出一个点来谈速度就是扯淡。因为根据速度的定义式：速度=位移/时间。所以对应单一时刻位移差为0，同时分母也为0，因此这个定义从数学上就没有意义可言。但是具体到研究该过程中速度变化状态，我们确

1. 感知机算法以上就是从生物学界得到启发后抽象并发展提出的感知机(Perceptron)模型。说明：输入向量X的各维特征分量分别乘以各自的权值w，后在求和，添加偏置b，再喂入一个激活函数，得到分类的判定结果。这里的激活函数使用符号函数。具体数学形式：???? = ????1 ????1 + ????2 ????2 + ⋯+ ???????? ???????? + ????向量形式：???? = ????????????+ ????添加线性函数：???? = ????(????) = ??