FH的博客

Logistic Regression定义loss function & cost function代价函数的解释极大似然估计的角度交叉熵CEH的角度求解求梯度 定义 对于一个样本x，模型模拟函数如下： y^=σ(wTx+b)\hat{y}=\sigma(w^Tx+b)y^​=σ(wTx+b) σ(z)=11+e−z\sigma(z)=\frac 1{1+e^{-z}}σ(z)=1+e−z...

back propagation一个浅层的神经网络参数和中间变量解释前向传播反向传播代码示例 一个浅层的神经网络 上图是一个，3层的神经网络，2个隐藏层+1个输出层；输入层 特征维度为3。 上图时一个神经元的结构，有一个线性函数 和 一个非线性的激活函数组成。 z=wTx z=w^Tx z=wTx a=σ(z)=1/(1+e−z) a=\sigma(z)= 1/(1+e^{-z}) a=σ...

正则化regulation欠拟合与过拟合L2 正则化（L2 regularization）dropout代码示例参考 欠拟合与过拟合 欠拟合：在训练集上准确率较小 过拟合：表现为在训练集上准确率高，训练误差较小。而在测试集上准确率与训练集上的表现相差较远，测试误差较大。 Bias-Variance： L2 正则化（L2 regularization） 损失函数中加L2正则化项后： l′(W)...

mini-batch 梯度下降 1、为什么要使用mini-batch 和batch相比，mini-batch计算开销较小、计算速度快，适应与大批量的数据集，支持在线学下。 和 随机梯度下降相比，mini-batch更容易收敛，梯度下降的有效性较大。 batch梯度下降如下图： momentum 1、为什么使用Momentum mini-batch gradient 中，每一个小批量的数据集都...

之前展示过只使用python、numpy构建简单的神经网络：前向传播、反向传播、链式法则求导等，有助于理解相关知识，但工程中是不可能这样做的。 一些基本的概念 1、常量 tf.constant ```python import tensorflow as tf a1 = tf.constant([1,2,3],tf.int32,name="a1") print(a1) # 打印：Tensor("...