基于numpy的前馈神经网络(feedforward neural network)

最新推荐文章于 2023-01-24 04:14:41 发布
最新推荐文章于 2023-01-24 04:14:41 发布
阅读量3.4k 收藏 4
点赞数 5
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/paul0127/article/details/82529244
版权
本文介绍了作者在学习Andrew Ng的深度学习课程后，通过动手实现前馈神经网络加深理解。文章详细讲解了前馈神经网络的工作原理，包括其结构、激活函数（如tanh和sigmoid）的作用，以及神经元的线性变换和激活变换过程。作者还讨论了神经网络的训练过程，包括损失函数、梯度下降法和反向传播的概念。最后，作者分享了自己的代码实现，指出简洁和易于理解的重要性，并给出了训练时遇到的问题及解决方案。
摘要由CSDN通过智能技术生成

***
代码部分可以直接通过Jupyter Notebook来查看

这几天在上Andrew Ng教授开的Coursera系列课程Deep Learning，总觉得光是看视频和做作业还不够，还是得自己动手写写代码，亲自实现课程里提到的算法内容，于是便有了这篇博客，作为自己入门深度学习的里程碑吧。

前馈神经网络

机器学习有两个基本问题，一是回归，二是分类，神经网络大多用于解决分类问题，前馈神经网络（feedforward neural network）是整个神经网络家族中较为常见和较为基础的一种，如下图右上角的DFF所示。图片来源是Cheat Sheets for AI, Neural Networks, Machine Learning, Deep Learning & Big Data。

神经网络中的基本元素是神经元，每层都有一定数量的神经元，神经元组合的多样性决定了神经网络的丰富性。下面是一个简单的前馈神经网络，总共有三层，从左到右分别是输入层、隐层和输出层，输入层的x1和x2表示这个样本只有两个特征（自变量），因为输入层通常不计入内，所以这是一个两层的神经网络，第一层有4个神经元，第二层只有1个。注意，隐层可以不止一层，隐层设置得越多，整个神经网络越庞大。

这个神经网络的工作原理是，给定一个样本的数据，将数据传输到第一层，进行线性变换和激活变换，得到加工过后的数据，这份新数据传到第二层，作为第二层的输入，接着进行线性变换和激活变换，又得到一份新的数据，因为第二层是最后一层了（如果不止两层就一直进行这样的操作直到抵达最后一层为止），所以最终的输出作为我们对该样本的预测值y_hat。

每一个神经元如同工厂的流水车间的机器，它重复做着四件事情：【接受上一层数据作为输入>>线性变换>>激活变换>>输出数据到下一层】，每个神经元中有三个组成部分：权重(weight)矩阵W，偏置(bias)向量b，以及激活函数(activation function) g，用公式表达为下图，其中上标(i)表示这是第i个样本数据，上标[1]和[2]分别表示这是神经网络的第一层与第二层：

z[1](i)=W[1]x(i)+b[1] z [ 1 ] ( i ) = W [ 1 ] x ( i ) + b [ 1 ]
a[1](i)=tanh(z[1](i)) a [ 1 ] ( i ) = tanh ⁡ ( z [ 1 ] ( i ) )
z[2](i)=W[2]a[1](i)+b[2] z [ 2 ] ( i ) = W [ 2 ] a [ 1 ] ( i ) + b [ 2 ]
y^(i)=a[2](i)=σ(z[2](i)) y ^ ( i ) = a [ 2 ] ( i ) = σ ( z [ 2 ] ( i ) )

最低0.47元/天 解锁文章
廖致君
关注
  • 5
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
numpy建立简单前馈神经网络
Violeshnv的博客
09-07 885
用numpy实现最简单的前馈神经网络——神经网络架构篇 基础知识 梯度（高等数学）、矩阵运算（线性代数）、numpy(ndarray)、python基础语法 目录 神经网络架构 神经网络建立 先用比较简单的正向传播建立好框架，再用反向传播改变算法 实例：学习mnist手写数字数据集 神经网络架构 矩阵 拟合 梯度 矩阵运算 我们可以把矩阵看作一个特殊的函数，它的作用是将长度为n的向量（如下图A\bold{A}A）转化为长度为m的向量（如下图Z\bold{Z}Z）。 将输入看作
AI算法05-前馈神经网络Feedforward Neural Network | FNN
最新发布
yangguangjiujiu99的专栏
07-04 1417
前馈神经网络（Feedforward Neural Network, FNN）是神经网络中最基本和经典的一种结构，它在许多实际应用场景中有着广泛的使用。在本节中，我们将深入探讨FNN的基本概念、工作原理、应用场景以及优缺点。前馈神经网络是一种人工神经网络，其结构由多个层次的节点组成，并按特定的方向传递信息。与之相对的是递归神经网络，其中信息可以在不同层之间双向传递。结构特点： 由输入层、一个或多个隐藏层和输出层组成。信息流动： 信息仅在一个方向上流动，从输入层通过隐藏层最终到达输出层，没有反馈循环。
【学习实践】使用numpy搭建一个简单的前馈神经网络FNN
JinyuZ1996的博客
08-24 1622
深度学习小实验 - 使用numpy搭建一个简单的前馈神经网络FNN 　　在天池上学习深度学习做的笔记，简单实现了一个FNN（非常简单），留以备忘。 实验实现的逻辑标示图 实验代码 # Author:JinyuZ1996 # Creation date:2020/8/24 10:28 import numpy as np # 一个基本的5输入单元*4神经元*2输出单元的简单网络 x = np.array([0.5, 0.4, 0.3, 0.4, 0.5]) # 输入层有5个输入,[1*5
用numpy自己实现一个前馈神经网络
Leokb24的博客
04-14 1859
三层的: def sigmoid(x): """ Compute the sigmoid of x Arguments: x -- A scalar or numpy array of any size. Return: s -- sigmoid(x) """ s = 1/(1+np.exp(-x)) return s de...
深度学习基础-基于Numpy的前馈神经网络（FFN）的构建和反向传播训练
SHIDACSDN的博客
05-06 4878
本文是深度学习入门： 基于Python的实现、神经网络与深度学习(NNDL)以及花书的读书笔记。本文将以多分类任务为例，介绍多层的前馈神经网络(Feed Forward Networks，FFN)加上Softmax层和交叉熵CE(Cross Entropy)损失的前向传播和反向传播过程(重点)。本文较长。 一、概述 1.1多层前馈神经网络 多层的前馈神经网络又名...
给出一个numpy实现多层前馈神经网络的代码
weixin_42584758的博客
01-24 256
import numpy as np class NeuralNetwork: def __init__(self, layers, neurons): """ layers: list, 每层神经元个数，例如[2,3,1]表示3层网络，第1层2个神经元，第2层3个神经元，第3层1个神经元 """ self.layers =...
Python-numpy库实现的简单的前馈神经网络源码.zip
03-10
前馈神经网络（Feedforward Neural Network，简称FNN）是一种基本的人工神经网络类型，它不包含循环或反馈路径，信息仅沿着单向路径从输入层传递到输出层。在这个项目中，我们专注于使用Python的numpy库来实现一个...
NeuralNetwork:具有反向传播的前馈神经网络
04-10
**前馈神经网络（Feedforward Neural Network）** 前馈神经网络是神经网络的一种基本类型，其特点是信息在网络中单向传递，不包含反馈回路。这种网络的设计灵感来源于生物神经系统的结构，由输入层、隐藏层（可选）...
前馈神经网络解决回归与分类任务python
12-11
前馈神经网络（Feedforward Neural Network，FNN）是一种最基础的人工神经网络类型，它在机器学习领域中被广泛用于解决回归和分类问题。在本项目中，Python编程语言被用作实现工具，PyCharm作为一个强大的集成开发...
numpy实现全连接神经网络框架
01-11
本文将深入探讨如何使用NumPy构建一个全连接神经网络框架，这是一个基本的前馈神经网络（Feedforward Neural Network），常用于解决分类和回归问题。 全连接神经网络由一系列层构成，包括输入层、隐藏层和输出层。...
深度前馈网络python实现(需要numpy)
05-20
本代码利用numpy实现了深度前馈网络；代码包括了网络深度，每层的单元数和每层的激活函数可以自选，BP算法；最后跟了一个多项式拟合的例子。该代码适合深度学习初学者。
Neural_Network：使用Python实现简单的前馈神经网络算法
02-16
使用Python实现简单的前馈神经网络算法。 工作正在进行中。
第三章神经网络——基于numpy的代码详解
12-21
本专栏是书《深度学习入门》的阅读笔记一共八章： 第一章深度学习中的Python基础。主要讲解了深度学习将要用到的python的基础知识以及简单介绍了numpy库和matpoltlib库，本书编写深度学习神经网络代码仅使用Python和numpy库，不使用目前流行的各种深度学习框架，适合入门新手学习理论知识。 第二章感知机。主要介绍了神经网络和深度学习的基本单元感知机。感知机接收多个输入，产生一个输出，单层感知器可以实现与门，或门以及与非门，但是不能实现异或门，异或门的实现需要借助多层感知机，这也就是说，单层感知机只能表示线性空间，而非线性空间的表示需要借助多层感知机。 第三章神经网络    
神经网络回归：测试各种Python库以实现前馈神经网络进行回归
02-04
神经网络回归：测试各种Python库以实现前馈神经网络进行回归
使用numpy实现两层神经网络
weixin_38468077的博客
05-09 1597
使用numpy实现两层神经网络1. 网络结构及实现思路2.编程实现及公式推导3.结果测试4.参考文章 1. 网络结构及实现思路 以下为次此依赖的的网络结构，并且后边的所有思路及编程都将遵循这个结构给出。 其中隐藏层、激活函数（采用Relu函数）、输出层的内容如下： h=xw1h=xw_1h=xw1​ a=max(0,h)a=max(0,h)a=max(0,h) y^=aw2\hat{y}=aw_2y^​=aw2​ 其整体实现思路如下： 1. 定义神经网络参数 2. 实现前馈神经网络 forward
基于Numpy构建全连接前馈神经网络进行手写数字识别
行步至春深
03-07 3869
文章目录(一) 问题描述(二) 设计简要描述(三) 程序清单(四) 结果分析(五) 调试报告(六) 实验小结 (一) 问题描述 不使用任何机器学习框架，仅仅通过Numpy库构建一个最简单的全连接前馈神经网络，并用该网络识别mnist提供的手写数字体。 (二) 设计简要描述 机器学习的三个基本步骤—— 程序设计思路——(此图放大可看清) (三) 程序清单 import numpy as np from mnist import load_mnist # sigmoid函数 def sigmoid(x)
前馈神经网络实现
mxlwd168的博客
11-02 447
import numpy as np from scipy.misc import derivative import matplotlib.pylab as plt def identy(x): return x def forward(xin,connt,actfc): x_d1,x_d2 = xin. shape c_d1,c_d2 = connt
仅用Numpy写的感知机(单层前馈神经网络)
Elijah's daily
07-23 518
单层前馈神经网络 from numpy import * class NeuralNetwork(): def __init__(self): random.seed(1) self.synaptic_weights = 2 * random.random((3,1)) - 1 def __sigmoid(self, x):
基于numpy设计神经网络
06-01
好的，我可以为您讲解基于numpy设计神经网络的步骤： 1. 导入numpy库 ``` import numpy as np ``` 2. 定义神经网络的结构，包括输入层、隐藏层和输出层的节点数，以及权重和偏置的初始值 ``` input_size = 2 hidden_size = 4 output_size = 1 W1 = np.random.randn(input_size, hidden_size) b1 = np.zeros((1, hidden_size)) W2 = np.random.randn(hidden_size, output_size) b2 = np.zeros((1, output_size)) ``` 3. 定义激活函数，常用的有sigmoid和relu函数 ``` def sigmoid(x): return 1 / (1 + np.exp(-x)) def relu(x): return np.maximum(0, x) ``` 4. 定义前向传播函数，将输入数据通过神经网络得到输出结果 ``` def forward(X): # 第一层 z1 = np.dot(X, W1) + b1 a1 = relu(z1) # 第二层 z2 = np.dot(a1, W2) + b2 y_hat = sigmoid(z2) return y_hat ``` 5. 定义损失函数，常用的有均方误差和交叉熵函数 ``` def mse_loss(y, y_hat): return np.mean((y - y_hat) ** 2) def cross_entropy_loss(y, y_hat): return -(y * np.log(y_hat) + (1 - y) * np.log(1 - y_hat)).mean() ``` 6. 定义反向传播函数，计算权重和偏置的梯度 ``` def backward(X, y, y_hat): # 输出层 dz2 = y_hat - y dW2 = np.dot(a1.T, dz2) db2 = dz2.sum(axis=0, keepdims=True) # 隐藏层 da1 = np.dot(dz2, W2.T) dz1 = da1 * (z1 > 0) dW1 = np.dot(X.T, dz1) db1 = dz1.sum(axis=0) return dW1, db1, dW2, db2 ``` 7. 定义更新权重和偏置的函数，采用梯度下降法更新神经网络的参数 ``` def update_params(dW1, db1, dW2, db2, lr): W1 -= lr * dW1 b1 -= lr * db1 W2 -= lr * dW2 b2 -= lr * db2 return W1, b1, W2, b2 ``` 8. 定义训练函数，利用前向传播、反向传播和权重更新来训练神经网络 ``` def train(X, y, epochs, lr): for i in range(epochs): y_hat = forward(X) loss = mse_loss(y, y_hat) dW1, db1, dW2, db2 = backward(X, y, y_hat) W1, b1, W2, b2 = update_params(dW1, db1, dW2, db2, lr) if i % 100 == 0: print(f"Epoch {i}, Loss: {loss:.4f}") return W1, b1, W2, b2 ``` 这些步骤可以帮助您基于numpy设计神经网络，进行训练和预测任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值