第五部分：神经网络

最新推荐文章于 2024-05-20 19:08:38 发布

Jimsum173

最新推荐文章于 2024-05-20 19:08:38 发布

阅读量169

点赞数 1

分类专栏：模型文章标签：神经网络人工智能深度学习

本文链接：https://blog.csdn.net/Jimsum173/article/details/120909488

版权

模型专栏收录该内容

8 篇文章 0 订阅

订阅专栏

chapter1 神经网络的表述

1.模型表示

基础神经元： X0=1 偏置、参数 $\theta$ 又可称为权重，激活函数sigmoid： $h_\theta=\frac{1}{1+e^{-\theta^Tx}}$

2.神经网络：

关于层：

第一层为输入层，最后一层为输出层，中间一层为隐藏层。我们为每一层都有一个偏差单位。

关于节点：

$a^i_{(j)}$ ——代表第𝑗 层的第 𝑖 个激活单元。

$\theta^{(j)}$ ——从第 𝑗 层映射到第𝑗 + 1 层时的权重的矩阵，例如 $\theta^{(1)}$ 代表从第一层映射到第二层的权重的矩阵。其尺寸为：行数=第 𝑗 + 1层的单元数，列数=第j层单元数+1。例如：上图所示的神经网络中 $\theta^{(1)}$ 的尺寸为 3*4。

$\theta^{(j)}_{mn}$ :在第j层的第n个激活单元到第j+1层的第m个神经元的偏执。如： $x_0->a^{(2)}_1$ 的偏置为： $\theta^{(1)}_{(10)}$

3.向量化：向量化后x为一维向量，theta为二维矩阵，相乘过后先不要经过sigmoid函数才能激活。

4.直观理解

逻辑与：

逻辑或：

逻辑非：

构造同或逻辑神经网络（有点像数电）：

$x_1XNORx_2=(x_1ANDx_2)OR((NOTx_1)AND(NOTx_2))$

第二部分：神经网络的学习：

符号：

m：训练样本个数

输入集：X(x）

输出：y

神经网络的层数:L

$S_I$ :该层神经元个数

1.代价函数：

$J(\theta)=-\frac{1}{m}[\sum^m_{i=1}\sum^k_{k=1}y^{(i)}_klog(h_\theta(x^{(i)}))_k+(1-y^{(i)}_k)log(1-(h_\theta(x^{(i)}))_k)]+\frac{\lambda}{2m}\sum^{L-1}_{l=1}\sum^{s_l}_{i=1}\sum^{s_l+1}_{j=1}(\theta^{(l)}_{ji})^2$