深度学习笔记整理（二）——神经网络

最新推荐文章于 2023-12-29 01:41:03 发布
最新推荐文章于 2023-12-29 01:41:03 发布
阅读量708 收藏
点赞数
分类专栏： 机器学习&强化学习 文章标签： 神经网络 算法 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xyq1212/article/details/106612217
版权
本文介绍了神经网络的历史，包括M-P模型、感知器模型、多层感知器模型以及误差反向传播算法。详细讲解了不同类型的神经网络，如RBF、ART、SOM网络，并探讨了梯度消失问题和各种学习算法。
摘要由CSDN通过智能技术生成

1.神经网络的历史

第一阶段(1940-1970)

  • 1943年，形式神经元模型的产生（M-P模型）；
  • 1958年，感知器的提出（经过训练确定神经元的连接权重）；
  • 1969年，提出感知器无法解决线性不可分问题。

第二阶段（1980-1990）

  • 1980年，神经认知机的提出；
  • 1982年，Hopfield模型的提出；
  • 1986年，误差反向传播算法的提出（利用多层感知器解决线性不可分问题）；
  • 1989年，卷积神经网络的提出。

2.M-P模型

假设有三个参数，相应的M-P模型如下：

  • y=f(\sum_{i=1}^{n}w_{i}x_{i}-h)
  • 其中w_{1}w_{2}w_{3}为参数，参数需要人为事先计算后决定；

3.感知器模型

  • 与M-P模型相比，感知器模型通过训练自动确定参数；
  • 感知器模型是有监督学习模型，通过误差修正学习方法迭代求解。
  • y=f(\sum_{i=1}^{n}w_{i}x_{i}-h)
  • 误差修正学习策略如下：
  1. w_{i}=w_{i}+\alpha (r-y)x_{i},\, \, h=h-\alpha (r-y)  其中r是得到的实际值，y是期望值；
  2. 当y=0,r=1时：增大x_{i}=1的连接权重w_{i}，即增大w_{i}x_{i}
最低0.47元/天 解锁文章
xyq1212
关注
专栏目录
简述神经网络的发展历史
CSDN 精品推荐
08-09 684
从2000年代末开始，随着计算能力的提升、大规模数据集的出现以及更好的算法和模型结构的发展，神经网络研究重新焕发活力。然而，感知器模型的限制和局限性逐渐被揭示，导致了神经网络研究的停滞。总的来说，神经网络的发展经历了多个阶段，从早期的理论探索到现代的深度学习应用，每个阶段都有研究者的不懈努力和突破，为神经网络技术的演进铺平了道路。在20世纪80年代和90年代，由于计算能力的限制、训练困难和理论认知的不足，神经网络研究进入了一个相对较低的阶段，被称为“神经网络的冬眠”。
深度学习笔记整理（三）——卷积神经网络
xyq1212的博客
06-09 773
1.神经认知机模型 由负责对比度提取的G层，负责图形特征提取的S细胞层和抗变形的C细胞层交替排列组成。 经过交替排列，反复迭代，底层提取的局部特征会逐渐变成全局特征； 因输入模式变化引起的畸变可以很好地被C细胞消除，对变形有较好的稳健性。 2.卷积神经网络CNN 基于人类视觉皮层感受野的结构得到的模型，由输入层、卷积层、池化层、全连接层、输出层组成，接下来分别具体介绍不同层。 卷积的本质：如果全部都是全连接层，参数太多，无法调整，无法实现，因此改用卷积核，共享参数，减少参数量。 卷积层 由输入
二值化神经网络
xiangpijiao的博客
04-17 3466
 什么是二值化网络二值化神经网络，是指在浮点型神经网络的基础上，将其权重矩阵中权重值和各个激活函数值同时进行二值化得到的神经网络。二值化神经网络具有很好的特性，具体体现在：通过将权重矩阵二值化，一个权重值只占用一个比特，相比于单精度浮点型权重矩阵，网络模型的内存消耗理论上能减少32倍，因此二值化神经网络在模型压缩上具有很大的优势。当权重值和激活函数值同时进行二值化之后，原来32个浮点型数的乘加运算...
神经网络的发展历史
qq_45387772的博客
09-11 8305
论文中提出了人工神经网络的概念，并给出了人工神经元的数学模型，从而开创了人工神经网络研究的时代。
神经网络发展史
热门推荐
Jiali Zhang的博客
05-19 1万+
简述神经网络发展的三起两落。
《TensorFlow 深度学习》阅读笔记（三）—— 神经网络
01-20
注：整理自《TensorFlow 深度学习》(龙龙老师)一书，侵删 神经网络组成 神经元模型如上图，X为输入的向量，W为超参数向量，b为偏置项。输出的计算公式如下： y=∑i=1nxiwi y = \sum_{i=1}^{n} x_iw_i y=i=1∑n​xi...
深度学习入门笔记（二十）：经典神经网络（LeNet-5、AlexNet和VGGNet）
01-20
专栏——深度学习入门笔记 声明 1）该文章整理自网上的大牛和...文章目录专栏——深度学习入门笔记声明深度学习入门笔记（二十）：经典神经网络（LeNet-5、AlexNet和VGGNet）1、为什么要进行实例探究？2、经典网络1）
Python深度学习笔记04——tensorflow实现神经网络（壹）
Liii_NN的博客
09-07 558
一、神经网络基础 1、感知机模型 2、神经网络 二、简单神经网络的实现 1、API介绍 2、简单的神经网络实现手写数字图片识别 总结
神经网络发展历程
qq_38785977的博客
02-06 3866
神经网络发展历程 神经元 1.引子 ​ 对于神经元的研究由来已久，1904年生物学家就已经知晓了神经元的组成结构。 ​ 一个神经元通常具有多个树突，主要用来接受传入信息；而轴突只有一条，轴突尾端有许多轴突末梢可以给其他多个神经元传递信息。轴突末梢跟其他神经元的树突产生连接，从而传递信号。这个连接的位置在生物学上叫做“突触”。 ​ 人脑中的神经元形状可以用下图做简单的说明： ​ 1943年，心理学家McCulloch和数学家Pitts参考了生物神经元的结构，发表了抽象的神经元模型MP。在下文中，我们会具体介
简述神经网络的发展历史,神经网络的起源和发展
aifamao3的博客
08-11 1877
由于神经网络是多学科交叉的产物，各个相关的学科领域对神经网络都有各自的看法，因此，关于神经网络的定义，在科学界存在许多不同的见解。目前使用得最广泛的是T.Koholen的定义，即"神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。"如果我们将人脑神经信息活动的特点与现行冯·诺依曼计算机的工作方式进行比较，就可以看出人脑具有以下鲜明特征：1.巨量并行性。...
神经网络的发展
Hi,你好
10-05 2619
卷积神经网络（convolution nerul newtwork）CNN的演进从LeNet到AlexNet，VggNet,GoogleNet,ResNet。 神经网络的基本组成有输入层，隐藏层，输出层。 LeNet：LeCun是第一个神经网络模型，在1989年。Lecun的论文点击阅读详细的介绍了什么叫做神经网络等概念。1998年LeCun提出了LeNet。 AlexNet：2012年Imag...
神经网络大详解
Jackydu1的博客
05-14 3113
各位小伙伴们，大家好，我是杜同学。今天想与大家分享一下神经网络的起源，从感知机模型到BP神经网络，其中会包括前向传播、反向传播等相关知识。当然，看这篇帖子之前，希望大家具备一些先导知识，特别是高等数学中链式求导以及求偏导的基础知识。相信这对大家来说肯定也不是问题啦。
简述神经网络的发展历程,神经网络的起源和发展
super67269的博客
08-10 2843
其次，当时的电子技术工艺水平比较落后，主要的元件是电子管或晶体管，利用它们制作的神经网络体积庞大，价格昂贵，要制作在规模上与真实的神经网络相似是完全不可能的；(3)非线性映射能力当对系统对于设计人员来说，很透彻或者很清楚时，则一般利用数值分析，偏微分方程等数学工具建立精确的数学模型，但当对系统很复杂，或者系统未知，系统信息量很少时，建立精确的数学模型很困难时，神经网络的非线性映射能力则表现出优势，因为它不需要对系统进行透彻的了解，但是同时能达到输入与输出的映射关系，这就大大简化设计的难度。...
深度学习的历史与发展：从神经网络到深度学习
最新发布
AI天才研究院
12-29 1885
1.背景介绍 深度学习是一种人工智能技术，它旨在模拟人类大脑中的学习过程，以解决各种复杂问题。深度学习的核心思想是通过多层次的神经网络来学习数据的复杂结构，从而实现自主学习和决策。 深度学习的历史可以追溯到1940年代的人工神经网络研究，但是直到2000年代，随着计算能力的提升和算法的创新，深度学习技术才开始取得重大突破。以下是深度学习的主要发展阶段： 神经网络(1940年代-1990年代...
人工神经网络的发展历程,神经网络发展历程简述
神经网络爱好者
08-19 3952
由于神经网络是多学科交叉的产物，各个相关的学科领域对神经网络都有各自的看法，因此，关于神经网络的定义，在科学界存在许多不同的见解。目前使用得最广泛的是T.Koholen的定义，即"神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。"如果我们将人脑神经信息活动的特点与现行冯·诺依曼计算机的工作方式进行比较，就可以看出人脑具有以下鲜明特征：1.巨量并行性。
神经网络的发展历史概述
qq_40905198的博客
08-20 5988
神经网络的发展也经历了高潮和低谷，本文主要对其发展的几个关键节点进行简要说明，之后的文章会各阶段主要技术进行讲解。 第一阶段 1943年，美国神经生理学家Warren McCulloch和数学家Walter Pitts首次提出形式神经元模型–M-P模型； 1958年，Roseblatt提出感知器； 1969年，Minsky和Papert指出感知器无法解决线性不可分问题，神经网络的发展陷入低潮。 第二阶段 1980年，福岛邦彦等人提出神经认知机； 1982年，Hopfield等人提出Hopfield 模型；
《人工智能杂记》神经网络架构发展史（CNN）
不问归期的博客
07-06 9640
笔者主要从事图像的识别与分类研究，在这里笔者值探讨卷积神经的发展史。 1.BP 1985年，Rumelhart和Hinton等人提出了后向传播（Back Propagation，BP）算法（也有说1986年的，指的是他们另一篇paper：Learning representations by back-propagating errors)，使得神经网络的训练变得简单可行，这篇文章在Goo...
吴恩达深度学习课程V5.42中文笔记：掌握热门AI技能
深度学习笔记（V5.42）是由黄海广主编，针对吴恩达教授在Coursera平台上开设的深度学习课程——DeepLearning.ai所制作的。该课程专为具备基础编程知识（如Python），且对机器学习有一定了解的专业人士设计，旨在让...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值