第四章神经网络的学习算法——随机梯度下降numpy代码详解

最新推荐文章于 2024-09-01 21:39:37 发布

刘爱然

最新推荐文章于 2024-09-01 21:39:37 发布

阅读量2.7k

点赞数 2

分类专栏：深度学习入门（基于Python的理论与实现）文章标签：神经网络 python 人工智能深度学习 numpy

本文链接：https://blog.csdn.net/weixin_42194139/article/details/105371995

版权

本文详细介绍了神经网络的学习算法，包括从数据中学习、损失函数如均方误差和交叉熵误差的计算，以及mini-batch学习方式。重点讲述了随机梯度下降法在神经网络权重和偏置更新中的应用，并提供了numpy代码实现。

摘要由CSDN通过智能技术生成

本专栏是书《深度学习入门》的阅读笔记一共八章：

第一章深度学习中的Python基础。主要讲解了深度学习将要用到的python的基础知识以及简单介绍了numpy库和matpoltlib库，本书编写深度学习神经网络代码仅使用Python和numpy库，不使用目前流行的各种深度学习框架，适合入门新手学习理论知识。

第二章感知机。主要介绍了神经网络和深度学习的基本单元感知机。感知机接收多个输入，产生一个输出，单层感知器可以实现与门，或门以及与非门，但是不能实现异或门，异或门的实现需要借助多层感知机，这也就是说，单层感知机只能表示线性空间，而非线性空间的表示需要借助多层感知机。

第三章神经网络——基于numpy的代码详解。主要讲解了神经网络的构成，神经网络中的激活函数，神经网络中层与层的矩阵乘法，3层神经网络的代码，输出层的设计和批处理。

第四章神经网络的学习算法

这一章中将要引入损失函数的概念，神经网络学习的目的就是找到合适的权重和偏置使得网络的损失函数值达到最小。

4.1从数据中学习

从数据中学习是指，神经网络能够通过数据自动确定权重和偏置的值。传统的机器学习方法是，人先通过观察数据，找出特征量（可以从输入数据中准确提取本质数据的转换器），然后再套用机器学习的算法对特征量进行学习。而神经网络深度学习的算法不需要认为的干涉，是一种端到端（end-to-end）（端到端是指从一端到另一端，即从原始数据（输入）到目标结果（输出））的学习方式。