5-机器学习之神经网络

最新推荐文章于 2023-04-16 12:14:21 发布
最新推荐文章于 2023-04-16 12:14:21 发布
阅读量156 收藏
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fengshengwei3/article/details/100057470
版权

目录

一 为什么要引入神经网络？

二 神经网络中的术语与回归中的区别

三 常见模型

四 前向传播

五 Cost Function

六 反向传播

1.反向传播与梯度下降

2.单个神经元的计算过程

七 训练神经网络的步骤

一 为什么要引入神经网络？

  对于参数过多或维度过高的计算，线性回归和逻辑回归计算起来不太现实。神经网络是比前两者更强大的非线性分类工具

二 神经网络中的术语与回归中的区别

1.激活函数跟逻辑回归中的sigmoid函数是一回事儿

2.权重（weight） 跟 回归中的参数 是一回事儿

3 bias 跟回归中的x0是一回事儿，且x0 通常赋值为1

三 常见模型

通常，把隐含层的节点称为“激活单元（activation units)",并有如下定义：

a_{i}^{j}:第j 层的第 i 个激活单元

\varnothing (j):控制第j 层到第j+1层的映射函数的权重矩阵

四 前向传播

 对于上述模型来说隐含层的数据由数据输入层得到，输出层的数据由隐含层得到，数据从第一层逐层往后传播并最终得到输出结果的过程称为前向传播

五 Cost Function

首先给出介个定义

  • L :神经网络的总层数
  • ​s_{l} : 第L层的单元数量（不含偏置单元）
  • K :输出单元/类型的数量
  • ​h_{\theta }(x)_{k} :假设函数中的第k个输出

对于神经网络来说，它由多个神经层相连组成，所以需要对他们进行求和

以逻辑回归的cost function 为例

逻辑回归只有一个输出。而神经网络假设由K个输出，则其cost function 定义如下

六 反向传播

正向传播是计算下一层的输出值，而反向传播是为了在模型预测出错时对模型参数进行调整

原理：当得到最后一层的预测误差之后，对误差取微分，使上一层的误差变小，逐层传递回去（不包括输入层）。从而使整体误差变小。上面已经给出了代价函数的定义，反向传播是让代价函数最小的方法来实现的。

 

 

1.反向传播与梯度下降

与回归算法一样，也可以用梯度下降法来做参数的更新

但是神经网络里面通常有上百万个参数，意味着上述的向量是上百万维的。这通常是不容易求解的，所以就引入了反向传播算法

反向传播算法的目的就是求神经网络中的参数（weight+bias）

梯度下降和反向传播的关系：反向传播就是梯度下降，只不过反向传播是计算梯度下降的一种更为有效的方式（计算的较快）

数学原理：求导的链式法则

举例如下：

对于神经网络来说，对求total loss 对某个参数的偏微分可以按如下方式，两边分别求导得到

 其总Loss 为上图中的L(\theta ), 对左右两边分别求对w（其中的某个参数）的偏微分。

2.单个神经元的计算过程

先考虑其中的一个神经元

\partial z/\partial w：对所有的参数计算偏微分，称之为前向传播

\partial C/\partial z：计算所有的损失函数对激活函数的输入z的偏微分，称之为反向传播

如何计算\partial z/\partial w1呢？

很简单，直接求导即可,其偏导结果为与该权重对应(从图上看是其输入元素）的输入元素的值。

如何计算\partial C/\partial z呢？（相当于计算总Loss对神经网络中任意一层的函数输出值的偏微分）

如下图所示，假设z = w1*x1 + w2*x2 +b , 经过sigmoid函数得到a(a是激活之后的结果）那么计算总Loss对z的偏微分可以通过链式法则

\partial C/\partial z = \partial C/\partial a * \partial a/\partial z

\partial a/\partial z 就是sigmoid函数的导数值，很容易算出来

\partial C/\partial a 如何计算呢？再根据链式法则，它的后面接了2个神经元z^{'} ,z^{''}（见前文链式求导法则的case2)

\partial C/\partial a = \partial C/\partial z^{'} * \partial z^{'}/\partial a + \partial C / \partial z^{''}*\partial z^{''}/\partial a

 则后面需要计算的就是\partial C/\partial z^{'} 和 \partial C / \partial z^{''},后面可能还有很多层，我们假定这两个值已经计算得到。

则可以将\partial C/\partial z计算出来

现在从另外一个角度来重新审视上面的公式，下图中红色的线看起来像是数据从后面流动（反向传播）

七 训练神经网络的步骤

 

 

 

MYVision_ MY视界
关注
专栏目录
神经网络中常用的几种激活函数的理解
sinat_17525183的博客
08-16 1658
1. 什么是激活函数   在神经网络中，我们经常可以看到对于某一个隐藏层的节点，该节点的激活值计算一般分为两步：   （1）输入该节点的值为 x1,x2x1,x2 时，在进入这个隐藏节点后，会先进行一个线性变换，计算出值 z[1]=w1x1+w2x2+b[1]=W[1]x+b[1]z[1]=w1x1+w2x2+b[1]=W[1]x+b[1] ，上标 11 表示第 11 层隐藏层。   （2）再进...
机器学习(5):神经网络学习
elegant coder
10-11 474
概述 M-P神经元模型：神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将于神经元的阈值进行比较，然后通过“激活函数”处理以产生神经元的输出。 实际常用Sigmoid函数作为激活函数 把许多个这样的神经元按一定的层次结构连接起来，就得到了神经网络。 事实上，从计算机科学的角度看，我们可以先不考虑神经网络是否真的模拟了生物神经网络...
一个前向传播、反向传播的推导例子
weixin_43508499的博客
08-14 482
目录一. 神经网络结构图二. 前向传播三. 反向传播 一. 神经网络结构图 假设现在有神经网络如下图所示： 输入为：（x1, y1’）, （x2, y2’） 初始权值为： w1, w2, w3, w4, w5, w6, w7, w8 偏置项为0 二. 前向传播 h1的输入加权和z1为： z1 = w1 * x1 + w3 * x2 h2的输入加权和z2为： z2 = w2* x1 + w4 * ...
deeplearning.ai学习笔记：第一课第三周
cdknight_happy的专栏
12-16 274
1 神经网络的表示 在计算神经网络的层数时，一般不把输入层计算在内。如一个由输入层、单隐藏层、输出层组成的神经网络，一般叫做是两层的神经网络。 上述单隐藏神经元的神经网络，神经元要做两件事情，一是计算z=wTx+bz = w^Tx+bz=wTx+b，即计算输入和权重的内积；二是应用非线性激活函数，计算a=σ(z)a = \sigma(z)a=σ(z)，增强神经网络的表达能力。 对第一个隐藏层神...
【图解例说机器学习】神经网络 (Neural Networks)
青峰碧陋室
06-09 1487
神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 --Kohonen, 1988 一层神经网络：感知机与逻辑回归 M-P神经元模型 1943年，McCulloch和Pitts提出了沿用至今的M-P神经元。在这个模型中，神经元接收来自其他MMM个神经元传递过来的输入信号x(j),j=1,2,⋯ ,Mx^{(j)},j=1,2,\cdots,Mx(j),j=1,2,⋯,M， 这些输入信号通过带权重ωj\omega_jωj​的连接进.
BP神经网络的理论及其实现
qq_38332975的博客
04-16 724
神经网络（Neural Network）是一种计算模型，它受到人脑神经元的结构和功能的启发而设计出来的。它可以用于解决各种复杂的问题，例如图像识别、自然语言处理、声音识别等。在神经网络中，大量的人工神经元通过加权连接构成了一个复杂的网络，该网络可以通过大量的训练数据来学习和适应各种复杂的输入输出关系，从而实现人工智能的目标。由于神经网络的强大表征能力和适应性，它被广泛应用于各种领域，包括计算机视觉、自然语言处理、机器人学、控制等。BP。
机器学习-05 神经网络
一个小白
10-31 3020
5、神经网络 在机器学习中，神经网络一般指的是“神经网络学习”，是机器学习与神经网络两个学科的交叉部分。所谓神经网络，目前用得最广泛的一个定义是“神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应”。 5.1 神经元模型 神经网络中最基本的单元是神经元模型（neuron）。在生物神经网络的原始机制中，每个神经元通常都有多个树突（dendrite），一个轴突（axon）和一个细胞体（cell body），树突短而多分支，轴突长而只有.
机器学习--利用卷积神经网络进行鸟类识别-代码
04-14
机器学习–利用卷积神经网络进行鸟类识别 具体解析请看链接： https://blog.csdn.net/weixin_44602933/article/details/116547300?spm=1001.2014.3001.5502
机器学习--神经网络
11-21
机器学习--神经网络机器学习--神经网络机器学习--神经网络机器学习--神经网络
机器学习-神经网络（neural networks）.txt
最新发布
05-16
机器学习——神经网络（neural networks）机器学习——神经网络（neural networks）机器学习——神经网络（neural networks）机器学习——神经网络（neural networks）机器学习——神经网络（neural networks）机器...
5--深度学习--循环神经网络
06-28
5--深度学习--循环神经网络 很宝贵的资料。适合深入学习机器学习和深度学习的人群。想要更多相关资源请关注。
机器学习——神经网络(Neural Network)
qq_41562426的博客
07-03 1573
1、MP模型 Mp模型是最基础，最原始的神经网络模型。MP模型是1943年心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立的。它的主要结构如图1所示。 图1 (来源于浙江大学胡浩基老师的机器学习课程) 2、感知器算法 感知器算法是在MP模型的基础上发展来的，主要可以解决我们在上一节中提到的线性可分问题。主要的算法流程如下所示： (1) 随机选取和; (2) 选取一个训练样本(X,y), 对于这个训练样本作如下判断： if, if, ......
人工智能深度学习卷积神经网络入门
10-23
java大数据人工智能培训学校全套教材系列课程由1000集视频构成，基本就 是1）时下流行的java培训学校主流内部教材，2）和市面上培训学校的通 行的课程体系几乎一样。所以这套课程都能自己学下来，等于上了培训学校一次，完全可以找个java工程师的工作了。 通过学习卷积神经网络概述，为什么引入神经网络来做识别，判断，预测，训练模型，激活函数，sigmoid激活函数，导数和切线，sigmoid激活函数如何求导，链式法则，梯度，梯度下降法与delta法则，BP（back propagation）误差逆传播神经网络，卷积到底有什么作用？如何做到特征提取，池化的名字由来，dropout，Anaconda Prompt的用法，Jupyter notebook的用法，Spyder的用法，建立安装Tensorflow所需的Anaconda虚拟环境，如何在Anaconda虚拟环境安装Tensorflow与Keras概念等让大家对人工智能，卷积神经网络快速入门。课程特色：专业细致，偏案例，理论强。课程软件使用：Anaconda，Spyder，Jupyter notebook重要声明：1） 如果感觉噪音大，可以选择不用耳机，加音箱或用电脑原声 2） 既然我们的名字叫人工智能深度学习卷积神经网络入门，这个课程的特点就在于成本最低的， 让你最快速的，最容易的入门。人工智能深度学习卷积神经网络入门的最大的难点在于入门入不了，从而最终放弃。俗话说师傅领进门，修行在个人。只要入了门了，后面的事都好办。选课前，务必注意本章的学习目标和内容。想学更多，注意后边的课程。
斯坦福大学开源用于网络神经百万量级OGB基准测试的数据集
图像算法Imalg的博客
12-24 1116
“最近，斯坦福大学的Jure Leskovec教授在NeurlPS 2019大会上发表演讲，宣布了开源开放图形基准，这是朝着图形神经网络建模统一基准迈出的重要一步。” 图神经网络是近年来迅速发展起来的机器学习的一个分支。通过将非结构化数据转换成结构化节点和边的图，然后利用图神经网络进行学习，往往可以取得更好的效果。 然而，图神经网络发展至今，还没有公认的基准数据集。许多论文中使用的方法通常是...
神经网络算法计算过程推导
qq_43468807的博客
04-13 3451
一、单个神经元     神经网络算法，是使用计算机模拟生物神经系统，来模拟人类思维方式的算法。它的基本单位就是人工神经元,通过相互连接形成一张神经网络。     下面三张图都展示了单神经元的结构：     图一中x1、x2、…、xnx_1、x_2、… 、x_nx1​、x2​、…、xn​表示输入， w1、w2、…、wn~w_1、w_2、…、w_n w1​、w2​、…、wn​表示权...
为什么要用神经网络？
mustach的博客
04-08 3007
为什么要用神经网络？ 1. 对于同一个分类任务，我们可以用机器学习的算法来做，为什么要用神经网络呢？ 一个分类任务，我们用机器学习算法来做时，需要把数据“喂”到算法里去训练，最后保存模型，再来预测分类的准确性。但是这就有个问题，即我们需要实现确定好特征，每一个特征即为一个维度，特征数目过少，我们可能无法精确的分类出来，即我们所说的欠拟合，如果特征数目过多，可能会导致我们在分类过程中过于注重某个...
为什么引入神经网络来做识别，判断，预测？
qq_43650923的博客
10-16 465
实名手机尾号：73203, 很多人学了神经网络很长时间，但一直就有一个最根本的问题困扰着自己。为什么要引入神经网络来做识别，判断，预测?为什么神经网络能做这事？其实我们在生活中，总在不知不觉的经常用神经网络。只不过我们没注意观察罢了。 比如经常有朋友会问我们，哪里的房子大致多少钱？比如下面这个判断房价的例子，当知道地点在北京二环以里，天安门旁边的东华门，输入x1就应该等于五万元一平米。楼层是四层，...
Deep learning-------------Neural networks
精锐小庄的专栏
12-02 836
本节内容: The representation and learning of neural networks -----------------------The representation of neural networks------------------------- （一）、为什么引入神经网络？——Nonlinear hypothesis 之前我们讨
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值