- 博客(6)
- 收藏
- 关注
RSS订阅原创 从零开始打造并训练神经网络
概述 之前已经讲述了不少理论知识了，现在是时候开始实战了。让我们尝试从零开始打造一个神经网络并训练它，把整个过程串起来。 为了更直观、更容易理解，我们遵循以下原则： 不使用第三方库，让逻辑更加简单； 不做性能优化：避免引入额外的概念和技巧，增加复杂度； 数据集 首先，我们需要一个数据集。为了方便可视化，我们使用一个二元函数作为目标函数，然后基于它的采样来生成数据集。 注：实际工程项目中，目标函数是未知的，但是可以基于它进行采样。 虚构目标函数 o(x,y)={1x2+y2<10其它o(x, y
2021-09-01 17:50:50
465
原创 为什么神经网络的结构如此重要？
概述 在深度学习领域，我们会经常看到某个模型刷榜的新闻。某个神经网络算法任务的重大突破，第一靠数据集，第二靠模型结构。 图像领域的突破，ImageNet数据集功不可没，这就是数据集的重要性，因为它记录了目标函数的信息。 但是我们从上一节中得知，数据集是有缺陷的，它不能完整地记录目标函数的信息，会遗失一部分。数据集的好坏就在于它对于目标函数信息保存率的高低。 训练阶段的任务就是要利用数据集中的信息(数据集函数d(x)d(\mathbf x)d(x))，还原出目标函数o(x)o(\mathbf x)o(x)。由
2021-08-17 15:31:52
340
原创 神经网络如何模拟任意函数？
一元函数的模拟 直线 这个是最简单的情况，我们使用一个不带激活函数的神经元即可模拟。 f(x)=wx+bf(x) = wx+bf(x)=wx+b 通过调整w,bw, bw,b参数，即可模拟任意直线。 阶跃函数Step Function 我们使用一个带Sigmoid激活函数的神经元来模拟。 随着www参数继续增大，神经网络就会逐步逼近该函数。 矩形脉冲函数 我们分成几步来模拟： 使用1个神经元来模拟函数的左半部分。 f1(x)=sigmoid(w1x+b1)f_1(x) = \text{si
2021-08-04 11:29:06
715
2
原创 深入神经元
概述 从上一节（什么是神经网络）中我们得知：神经网络是一个函数，它由神经元组成，而神经元也是一个函数。 神经元可以继续拆分成2个子函数： nnn元线性函数: g(x1,...,xn)g(x_1, ..., x_n)g(x1,...,xn) 111元非线性函数: h(x)h(x)h(x) 神经元所代表的函数为： 线性函数g(x1,...,xn)g(x_1, ..., x_n)g(x1,...,xn) 线性函数有如下形式： g(x1,...,xn)=w1x1+...,wnxn+bg(x_1,
2021-07-23 17:08:52
291
原创 什么是神经网络
概述 简而言之，神经网络就是函数：输入数据，输出结果。 函数 我们以MNIST手写数字图像识别为例，来定义一下对应的函数形式： 任务类型：图像分类 输入：一张图像包含28 x 28=784个像素，每个像素用一个实数表示 输出：0-9 任务描述：从图像张识别出唯一的数字 函数定义 y=f(x1,x2,...,x784)y = f(x_1, x_2, ..., x_{784})y=f(x1,x2,...,x784) xi∈R,i=1,...,784x_i \in \mathbb R, i = 1,
2021-07-09 15:48:46
3416
原创 神经网络实验：万能函数拟合器
概述 都说神经网络是一个万能的函数拟合器，如果理解这句话呢？让我们做一些实验，去获取更直观的理解。 为了直观与方便理解，我们用神经网络去拟合一元函数，也就是y=f(x)y=f(x)y=f(x) 实验 1. 函数y=xy=xy=x 训练样本 如图所示： 蓝色点代表训练样本，它们都是从函数y=xy=xy=x中取样获得 橙色的直线代表神经网络所表示的函数，目前未训练，与样本偏离较大 思路 拟合一条直线，我们需要使用什么结构的神经网络去拟合它呢？为了理解透彻，我们需要理解单个神经元。 单个神经元的形式为：y=
2021-04-19 17:19:46
1657
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人