吃瓜笔记---第五章 神经网络

最新推荐文章于 2024-09-10 18:37:45 发布
最新推荐文章于 2024-09-10 18:37:45 发布
阅读量201 收藏
点赞数
文章标签： 神经网络 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/deeplearningcc/article/details/127471118
版权

注：本文只是本人阅读西瓜书及南瓜书的阅读笔记和心得，可能只有自己能看懂，鉴于本人水平有限，有极大可能出现错误，欢迎读者批评指正 

1、神经元模型

        

对上图单个神经元模型

输入={x_1,x_2...x_n} 

输出 y=f(\sum_{i=1}^{n}w_ix_i-\theta )

w为权重，\theta为阈值， f(\cdot ) 为激活函数

2、感知机与多层网络

感知机（Perceptron）二类分类的线性模型，由两层神经元组成

 感知机可以轻易的实现逻辑与、或、非运算

感知机的模型可以表示为：

y=f(w^Tx-\theta )=\left\{\begin{matrix} 1, &w^Tx-\theta\geqslant 0; \\ 0, &w^Tx-\theta \leqslant 0. \end{matrix}\right. 

其中w^Tx-\theta就是一个n维空间中的线性超平面，将n维空间分为两个部分。

单个感知机无法解决非线性可分问题，此时需要多层感知机来实现。 

3、反向传播算法

        反向传播算法基于梯度下降策略，即对于损失函数来说，沿着其梯度的方向减少可以是损失函数减少的速度最快。

         

 因为神经网络不止一层，可能有多个隐藏层，此时定义网络在某一层的均方误差：

E_k=\frac{1}{2}\sum_{j=1}^{l}(\hat{y}^k_j-y^k_j)^2

        同上述感知机的最小化损失函数的方法一样，沿着权重w的负梯度方向对其进行更新，因为神经网络包含多层，因此输入层的参数w求导会先对倒数第二层的参数求导，一层一层向前传播（链式求导法则）。

 

(后续补充。。。欢迎讨论)

        

deeplearningcc
关注
吃瓜教程Task4:神经网络 西瓜书第五章
iloveMIShanhan的博客
10-23 250
吃瓜教程task4
吃瓜笔记--西瓜书学习笔记第五章神经网络
qq_43458346的博客
07-25 134
第五章 神经网络 5.1 神经元模型 神经网络（neural networks） 神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 神经网络中最基本的成分是神经元模型，即上述定义中的“简单单元”。如果某神经元的电位超过一个阈值，那么它就会被激活，即“兴奋”起来，向其他神经元发送化学物质。 M-P神经元模型 神经元接受来自其他n个神经元的输入信号，通过带有权重的连接进行传递，与阈值（threshold）进行比较后，经过激活函数（activa
吃瓜学习笔记 - 神经网络
xiaoyilisa的博客
12-25 919
神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将于神经元的阈值(下图的θ)进行比较，然后通过“激活函数”（下图的f(·)，模拟“抑制"或者“激活”）处理以产生神经元的输出。由于感知机这种单个神经元的分类能力有限，只能分类线性可分的数据集，对于线性不可分的数据集则无能为力，比如“异或”问题。如果没有误分类，损失函数为0，而且误分类点越少，误分类点离超平面越近，损失函数值就越小。因此，神经网络既能做回归，也能做分类，而且不需要复杂的特征工程。
吃瓜笔记 第5章 - 神经网络
ListeningK的博客
12-25 1804
西瓜书第五章的不完全笔记
Datawhale吃瓜教程-task4学习笔记（第五章）
qq_44598715的博客
07-25 211
5.1神经元模型 神经网络的定义：神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的的交互反应。 M-P神经元模型：神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”处理以产生神经元的输出。下图为西瓜书中M-P神经元模型示意图。 激活函数：典型的激活函数有Sigmoid函数，它把可能在较大范围内变化的输入值挤压到 (0,1)输出值范围.
机器学习吃瓜（西瓜、南瓜书）笔记 task04-第五章神经网络
weixin_37734833的博客
07-25 500
目录5.1 MP神经元5.2 感知机5.3 神经网络 5.1 MP神经元 模拟生物神经元，接受n个输入并得到加权和，和自身特有的阈值进行比较（作差），经过激活函数得到输出结果。 单MP神经元：感知机，对数几率回归（逻辑回归） 多MP神经元：神经网络 5.2 感知机 5.3 神经网络 ...
吃瓜笔记《机器学习》周志华——第五章 神经网络
kewei chen
01-23 809
吃瓜笔记《机器学习》周志华——第五章 神经网络 5.1神经元模型 神经网络：具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 神经元模型：一个_神经元_收到的刺激超过阈值（threshold/bias），它就会被激活。概括为_M-P神经元模型_：n个带权输入 → \rightarrow与threshold比较 → \rightarrow激活函数处理产生输出。 激活函数中1代表兴奋，0代表不兴奋。理想中激活函数位阶跃函数，为方便处理用
《机器学习》周志华--第5章神经网络。 笔记+习题
热门推荐
weixin_45775701的博客
11-16 2万+
The definition of neural network:神经网络是由具有适应性的简单单元组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 神经网络的学习过程，就是根据训练数据来调整神经元之间的连接权（connection weight）以及每个功能神经元的阈值，神经网络经过学习后的东西，蕴藏在连接权与阈值中。 5.1神经元模型 其最初是模拟的生物神经元。我们假设每个神经元电位高于某个“阈值”时会处于兴奋。 对于每个神经元，如图5.1所示，神经元接收到来自其他
吃瓜学习笔记 - 绪论 & 模型评估与选择
xiaoyilisa的博客
12-11 1164
数据量越大，模型效果越好；对特征数值化越合理，特征收集越全越细致，模型效果越好。范围:人工智能 >机器学习>深度学习（指神经网络的那一类学习算法）5. 数据决定模型效果的上限，而算法是让模型无限逼近上线。研究从数据中学习出其潜在规律的算法的一门学科。1.2. 为什么要学习机器学习？1.3. 怎么学习机器学习。不同的ML算法有不同的偏好。1.1 什么是机器学习？数据质量的重要性>算法。
机器学习-西瓜书笔记汇总1
08-03
1绪论傍晚小街路面上沁出微雨后的湿润，和熙的细风吹来，抬头看看天边的晚霞，嗯，明天又是一个好天气。走到水果摊旁，挑了个根蒂蜷缩、敲起来声音浊响的青绿西瓜，一边满
周志华《机器学习》西瓜书 小白Python学习笔记（六） ———— 第五章 神经网络 课后习题5.5 python实现 pytorch
River_J777的博客
07-06 1988
周志华《机器学习》西瓜书 小白Python学习笔记（六） ———— 第五章 神经网络 python代码 pytorch伪代码手工搭建Pytorch 搭建 作为神经网络中最为广泛使用的BP神经网络，本文使用西瓜数据集3.0（课后题5.5）通过手工和Pytorch两种方式搭建BP神经网络。 伪代码 输入: 训练集 D={(xk,yk)}k=1mD=\left\{\left(\boldsymbol{x}_{k}, \boldsymbol{y}_{k}\right)\right\}_{k=1}^{m}D={(x
【实战 python】 第5章 神经网络 -- 感知机、误差逆传播算法
lzbmc的博客
09-11 496
目录一、感知机算法实现sklearn实现二、误差逆传播算法（5.5） 理论知识：笔记（五）机器学习（周志华）第5章 神经网络 一、感知机 算法实现 #!/usr/bin/python # -*- coding: utf-8 -*- # @Author : Cabbage # @project : ML # @FileName: preceptron.py # @Blog : https:/...
神经网络骨架nn.Module
Mr_Happy_Li的博客
09-07 440
nn.Module 是 PyTorch 中的一个核心类，它是所有神经网络模块的基类。在 PyTorch 中构建模型时，通常会继承这个类来创建自定义的网络结构。nn.Module 提供了一系列用于构建神经网络的工具和方法,注：这是因为将一个值为 1.0 的张量 x 传递给模型，模型将其增加 1，所以输出是 2.0。进行一个非常简单的操作：对输入数据加1。
多维时序 | Matlab基于TCN-Transformer+LSTM双输入神经网络时间序列预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
09-10 717
多维时序 | Matlab基于TCN-Transformer+LSTM双输入神经网络时间序列预测
【机器学习】迁移学习概论
最新发布
鑫宝的博客
09-10 1962
迁移学习(Transfer Learning)是一种机器学习技术,它旨在通过将在一个领域(源领域)学习到的知识迁移到另一个领域(目标领域),从而提高目标领域的学习效率。在传统的机器学习方法中,通常需要为每个新任务从头开始训练一个全新的模型,这不仅效率低下,而且当训练数据有限时,模型的性能也会受到影响。而迁移学习则允许我们利用已有的知识,加快新任务的学习过程,提高模型的泛化能力。基于实例的迁移学习(Instance-based Transfer Learning)
【机器学习(二)】分类和回归任务-决策树算法-Sentosa_DSML社区版
qq_45586013的博客
09-10 1191
决策树算法解决分类和回归问题
【大模型专栏—入门篇】机器学习与深度学习基础测试
文艺倾年的博客
09-10 1805
在前向传播过程中，模型各个层的参数w和层的输入输出都是fp16，但是fp16的精度不够，无法表示特别小的数值，这会导致在进行梯度更新的时候，梯度值下溢，导致被调整参数没有变化。因此，合理选择缩放因子和监测训练过程中梯度的变化是非常重要的。，当GPU显存不够充足的情况下，较大的Batch size会导致OOM，因此，需要针对实际的硬件情况，设置合理的Batch size取值。对于所有wi都是一样的，xi是i-1层的激活函数的输出，如果像sigmoid一样，输出值只有正值，那么对于第i层的所有wi，其。
【机器学习】5 ——过拟合，正则化
qq_43507078的博客
09-08 702
正则化
深度学习入门：吴恩达课程笔记-神经网络解析
“深度学习吴恩达课程笔记(一)-深度学习概论、神经网络基础” 这篇笔记涵盖了深度学习和神经网络的基础知识，主要讲解了深度学习与机器学习的区别，神经网络的基本概念、特点、工作原理以及应用。吴恩达的课程深入...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值