deepLearning-One hidden layer Neural Network一个隐藏层的神经网络

已于 2023-01-09 14:40:19 修改
阅读量282 收藏
点赞数
文章标签： 神经网络 逻辑回归
于 2023-01-06 16:32:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/OneForPlus/article/details/128578955
版权
本文介绍了如何构建一个具有一个隐藏层的神经网络，包括向前传播的计算过程、常用的激活函数以及向后传播的公式。强调了多层节点在逼近样本上的优势，并提供了训练和优化神经网络的步骤。
摘要由CSDN通过智能技术生成

一直是跟着cousera上吴恩达的课学下来的，目前到一课程第四周，还没做第四周作业。

除了明显为个人手写并用手机拍摄，以下提供的图片都来自吴恩达老师课件的截图

献上关键理解图一张
在这里插入图片描述

一个隐藏层的神经网络

与逻辑回归单元的区别
逻辑回归单元可以看成是只有一个节点的层，而一个隐藏层的神经网络则是有一个多节点的层和有一个节点的层一同构成的。
1.在逻辑回归单元中 w w w的形状是 ( 1 , n ) (1,n) (1,n),而当要输出多个节点时，其形状应该时 ( k , n ) (k,n) (k,n)
2.而要增加层数只能多加几个 w w w、 b b b，这在后面构建多个隐藏层的神经网络中涉及到。

向前传播公式：
Z [ 1 ] = W [ 1 ] T ∗ X + b [ 1 ] Z^{[1]}=W^{[1]T}*X+b^{[1]} Z[1]=W[1]T∗X+b[1] A [ 1 ] = σ ( Z [ 1 ] ) A^{[1]}=\sigma(Z^{[1]}) A[1]=σ(Z[1]) Z [ 2 ] = W [ 2 ] T ∗ A [ 1 ] + b [ 2 ] Z^{[2]}=W^{[2]T}*A^{[1]}+b^{[2]} Z[2]=W[2]T∗A[1]+b[2] A [ 2 ] = σ ( Z [ 2 ] ) A^{[2]}=\sigma(Z^{[2]}) A[2]=σ(Z[2])

上标方括号对应相应层数，例如 Z [ 1 ] Z^{[1]} Z[1]表示第一个隐藏层的Z。注意x那一层为第零层，也可以说x那一层不在层数计算范围内。

公式中的考虑：

1.此时 W [ 1 ] W^{[1]} W[1]应是 ( n , k ) (n,k) (n,k)维度ÿ

最低0.47元/天 解锁文章
OneForPlus
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【NLP】神经网络基础
Loewi的博客
04-21 5151
文章目录1. 前馈神经网络、网络层数、输入层、隐藏层、输出层、隐藏单元、激活函数的概念。1.1 前馈神经网络(feedforward neural network)1.2 激活函数(Activation Function)1.2.1 weights, bias和activation function的作用1.3 如何形象的解释为什么神经网络层数越多效果越好？2. 感知机相关；利用tensorflo...
神经网络基础
qq_41704037的博客
03-12 1902
基本概念： 输入层（Input layer），众多神经元（Neuron）接受大量非线形输入消息。输入的消息称为输入向量。 输出层（Output layer），消息在神经元链接中传输、分析、权衡，形成输出结果。输出的消息称为输出向量。 隐藏层（Hidden layer），简称“隐层”，是输入层和输出层之间众多神经元和链接组成的各个层面。隐层可以有一层或多层。隐层的节点（神经元）数目不定，但数目越多...
吴恩达深度学习课程-课后练习错题整理（1）
FelicityXu的博客
08-06 842
文章目录深度学习第一课第二周第18题第19题（有点疑问） 持续更新 深度学习第一课第二周 第18题 # a.shape = (3,4) # b.shape = (4,1) for i in range(3): for j in range(4): c[i][j] = a[i][j] + b[j] 如何将其矢量化？ A.c = a + d B.c = a +b.T C.c = a.T + b.T D.c = a.T + b 答案：B 第19题（有点疑问） 请考虑以下代码段： a
考虑一个单隐藏层包含N个神经元的全连接神经网络，其输入为x∈R^p，第一层权重矩阵为W_1∈R^(N×p)，对应偏置为b_1∈R^N，激活函数选取σ(t)=sin⁡(t)；第二层权重矩阵为W_2∈R^...
weixin_42576467的博客
02-16 101
该神经网络的反向传播公式如下： 计算输出层的误差 将SoftMax函数的输出记为o，即o=SoftMax(W_2 σ(W_1 x + b_1) + b_2)，则输出层的误差为： δ_2 = o - y 计算隐藏层的误差 将隐藏层的输出记为a，即a = σ(W_1 x + b_1)，则隐藏层的误差为： δ_1 = (W_2)^T δ_2 ⊙ cos(W_1 x + b_1) 其中 ⊙ 表示元...
深度神经网络一
最新发布
橘猫的博客
06-21 1304
深度神经网络（Deep Neural Network, DNN）是人工神经网络的一种，拥有多个隐藏层。这些隐藏层之间的连接使得DNN能够学习和表示复杂的函数和模式。深度神经网络是人工智能领域的核心技术，具有强大的学习和表达能力。理解其基本概念、结构、训练过程和应用领域，对于深入学习和应用深度学习技术至关重要。通过不断的学习和实践，可以更好地掌握和应用DNN，解决各种复杂的问题。
神经网络和深度学习（9）--浅层神经网络(一个隐藏层)
ShaneHolmes
08-14 3280
神经网络和深度学习 上一篇 主目录 下一篇 文章结构1. 神经网络的表示2. 关于各个参数3. 计算一个神经网络的输出4. 多个样本神经网络的输出 【前言】 介绍神经网络的基本组成，表...
浅层神经网络（One Hidden Layer Neural Network）
qq_32865355的博客
12-27 5709
在之前课程中，我们实现了逻辑回归函数，它是一个不包含隐藏层的网络结构。 本节课中，我们将继续神经网络的学习，本文主要来讲解包含一个隐藏层的神经网络结构及其原理。 本文内容概述 之前的文章中，我们讲述了一个逻辑回归的模型如下： 其中，输入参数包含w, x和b，具体计算流程如下： 而对应一个包含隐藏的神经网络而言，其网络结构如下：
Single-hidden-layer feed-forward quantum neural network based on Grover learning
04-04
在计算机科学与量子理论的交叉领域中，单隐藏层前馈量子神经网络（Single-hidden-layer feed-forward quantum neural network，以下简称SLFN-QNN）一直是研究人员探索的热点。本文介绍的是一种基于Grover学习算法的...
ELM.zip_ELM single layer_machine learning_neural network_极限学习机
09-20
它由Huang等人在2004年提出，主要应用于单层隐藏神经网络，即单隐层前馈神经网络(Single-hidden layer feedforward network, SLFN)。ELM的核心思想是随机初始化隐藏层节点的权重，通过一次性训练完成权重的确定，...
BP_Neural_Network-1.4_人工神经网络_
10-01
BP神经网络通常由三部分组成：输入层（Input Layer）、隐藏层（Hidden Layer）和输出层（Output Layer）。在你提供的"BP_Neural_Network-1.4"中，三层结构可能指的是至少一个隐藏层加上输入层和输出层。每一层都包含...
neural-network:通用人工神经网络
03-08
在本项目中，"neural-network:通用人工神经网络"可能是一个用Java编程语言实现的神经网络框架或库，用于构建和训练各种类型的神经网络模型。 Java作为一种广泛使用的面向对象的编程语言，具有跨平台性、高效性和...
NeuralNetwork:探索简单人工神经网络的可能性
07-08
以上代码创建了一个包含一个输入层、一个隐藏层和一个输出层的神经网络，使用Sigmoid激活函数和均方误差损失函数。接下来，你可以加载数据，设置迭代次数，并进行训练： ```java DataSetIterator iterator = ... //...
手把手教你机器学习之神经网络
执的博客
09-12 3750
1.神经网络的原理： 输入特征和预测的结果用节点进行表示，系数w用来连接这些节点。而在MLP模型中，算法在过程中添加了隐藏层，然后在隐藏层重复进行上述加权求和计算，最后再把隐藏层所计算的结果用来生成最终结果。 这样一来，模型要学习的特征系数，或者说权重，就会很多了。在每一个输入的特征和隐藏单元之间，都有一个系数，这一步也是为了生成这些隐藏单元，而每个隐藏单元到最终结果之间，也都有一个系数。而计算一系列的加权求和和计算单一的加权求和。 2.神经网络中的非线性矫正： 在生成隐藏层之后，我们要对结果进行非线性矫
吴恩达机器学习笔记——含一个隐藏层的神经网络
A843151774的博客
10-04 1502
含一个隐藏层的神经网络 含一个隐藏层的神经网络构造如下图所示： 其中记号用a上标的方括号a[n]a^{[n]}a[n]代表是第n层的a,用下标表示是某一层下面的某一个神经元，如图中的a1[2]a^{[2]}_1a1[2]​代表第二层的第一个神经元。 中间层，即隐藏层的大小是可以自己设定的，如图中设置了4个节点。 模型表达 同样以二分类模型为例： 给出待判断的物体的n个特征x1,x2,...xnx_1,x_2, ... x_nx1​,x2​,...xn​ 给出待判断物体的类别：0或1 对于两层的神经网络
神经网络学习
bug_12的博客
07-08 1197
神经网络原理 在这里主要介绍的是MLP算法。在MLP模型中，算法在过程中添加了Hidden Layers，然后在其中进行加权求和计算，最后再把其所计算的结果作为最终的计算结果。然而如果仅仅是简单的加权求和，其模型表现和线性模型的表示不会有很大的不同，所以在生成hidden layers后，还需要对结果进行relu或tanh即是非线性矫正和双曲正切处理。 下面来介绍一下MLP模型的一些参数。 MLP...
神经网络ANN算法——鸢尾花案例python实现
热门推荐
王斯的博客
04-11 1万+
个人对神经网络的理解 神经网络算法，是一个黑匣子，当你传入一些数据，并告诉它最终要达到的目标，整个神经网络就开始学习。但是，我们很难知道里面究竟发生了什么，也没有数学来严格推导和证明 黑匣子这玩意不可控啊！ 人脑 人在刚出生的时候有 2000 亿的脑细胞，且细胞不会再生，当然你也不用担心会用完，100岁衰减都还有27亿。神经元包含了轴突和树突，树突负责接收信号、轴突负责发送信号。人的大脑是很好记忆、逻辑、运算、推理的设备。 算法原理 假设有一个最简单的神经系统 构成：一层输入单元和一层输出单元，我们根据已
BP神经网络隐藏层的作用,bp神经网络输出层函数
m0_54846070的博客
08-05 4397
神经网络不但具有处理数值数据的一般计算能力，而且还具有处理知识的思维、学习、记忆能力，它采用类似于“黑箱”的方法，通过学习和记忆，找出输入、输出变量之间的非线性关系（映射），在执行问题和求解时，将所获取的数据输入到已经训练好的网络，依据网络学到的知识进行网络推理，得出合理的答案与结果。本章选择了控沉点处深层地下水系统的年均水位和区域地下水开采量作为模型的输入变量，考虑到水位和开采量的变化与沉降变形并不同步，有明显的滞后性存在，本章将前一年的开采量和年均水位也作为输入，故模型的输入变量为四个。...
python用numpy写有一个隐藏层的神经网络函数
05-30
下面是一个使用 Numpy 实现单隐藏层神经网络的 Python 函数： ```python import numpy as np def neural_network(X, Y, hidden_layer_size, num_iterations, learning_rate): # 初始化参数 n_x = X.shape[0] # 输入层大小 n_h = hidden_layer_size # 隐藏层大小 n_y = Y.shape[0] # 输出层大小 W1 = np.random.randn(n_h, n_x) * 0.01 # 隐藏层参数 b1 = np.zeros((n_h, 1)) # 隐藏层偏置 W2 = np.random.randn(n_y, n_h) * 0.01 # 输出层参数 b2 = np.zeros((n_y, 1)) # 输出层偏置 # 迭代训练 for i in range(num_iterations): # 前向传播 Z1 = np.dot(W1, X) + b1 A1 = np.tanh(Z1) Z2 = np.dot(W2, A1) + b2 A2 = 1 / (1 + np.exp(-Z2)) # 计算损失 cost = -np.sum(Y * np.log(A2) + (1 - Y) * np.log(1 - A2)) / m # 反向传播 dZ2 = A2 - Y dW2 = np.dot(dZ2, A1.T) / m db2 = np.sum(dZ2, axis=1, keepdims=True) / m dZ1 = np.dot(W2.T, dZ2) * (1 - np.power(A1, 2)) dW1 = np.dot(dZ1, X.T) / m db1 = np.sum(dZ1, axis=1, keepdims=True) / m # 更新参数 W1 = W1 - learning_rate * dW1 b1 = b1 - learning_rate * db1 W2 = W2 - learning_rate * dW2 b2 = b2 - learning_rate * db2 # 每迭代 100 次输出一次损失 if i % 100 == 0: print("Iteration %d, cost: %f" % (i, cost)) # 返回训练好的参数 return {"W1": W1, "b1": b1, "W2": W2, "b2": b2} ``` 这个函数接受四个参数： - `X`：输入数据，一个 $(n_x, m)$ 的矩阵，其中 $n_x$ 是输入层大小，$m$ 是样本数。 - `Y`：输出数据，一个 $(n_y, m)$ 的矩阵，其中 $n_y$ 是输出层大小。 - `hidden_layer_size`：隐藏层大小。 - `num_iterations`：迭代次数。 - `learning_rate`：学习率。 函数的返回值是一个字典，包含训练好的参数。 这个函数使用了 tanh 激活函数和交叉熵损失函数。在训练过程中，它输出每 100 次迭代的损失值。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值