机器学习：深度神经网络

最新推荐文章于 2024-05-21 08:07:26 发布

Mr. Donkey_K

最新推荐文章于 2024-05-21 08:07:26 发布

阅读量1.9k

点赞数 6

分类专栏：机器学习笔记文章标签：深度学习深度神经网络优化算法

本文链接：https://blog.csdn.net/dreaming5498/article/details/99712836

版权

本文介绍了深度神经网络的基本概念，包括神经网络的起源、神经元结构以及深度神经网络的定义。详细阐述了激活函数的重要性，特别是非线性激活函数的作用，并列举了几种常见的激活函数。此外，文章还探讨了神经网络的训练过程，特别是反向传播和梯度下降算法，并提到了优化技术，如DropOut和指数加权平均等。

摘要由CSDN通过智能技术生成

基本概念

神经网络的介绍

神经网络是为了模拟人的大脑

神经网络起源于1943年，A Logical Calculus of Ideas Immanent in Nervous Activity , 使用一个间划过的计算模型来描述在动物的大脑中，神经元如何通过命题逻辑来实现复杂的计算。在80年代流行过一阵，但是到了90年代后期，由于各种原因，应用逐渐消失了，近几年，神经网络又火了起来

神经元

生物神经元：由包含细胞核和大部分细胞复合成分的细胞体组成。有许多分枝延伸的部分称为树突，一个非常长的延伸称为轴突。轴突的长度肯呢个比细胞体长几倍，或者长达几万倍，在其极端附近，轴突分裂成许多被称为终树突的分支，在这些分支的尖端是称为突触终端的微小结构，它会连接到其他神经元的树突（或者直接连接到细胞体）。生物神经元通过这些突触接受从其他细胞发来的很短的电脉冲，这种脉冲被称为信号。当一个神经元在一定的时间内收到足够多的信号，就会发出它自己的信号

一只猫大约有10亿个神经元，一只老鼠大约有7500万个神经元，一只蟑螂大约有100万个神经元。相比之下，许多人工神经网络包含的神经元要少得多，通常只有几百个，所以我们在不久的将来随时创建一个人工大脑是没有危险的