从零开始打造并训练神经网络

概述

---

之前已经讲述了不少理论知识了，现在是时候开始实战了。让我们尝试从零开始打造一个神经网络并训练它，把整个过程串起来。

为了更直观、更容易理解，我们遵循以下原则：

1. 不使用第三方库，让逻辑更加简单；
2. 不做性能优化：避免引入额外的概念和技巧，增加复杂度；

数据集

---

首先，我们需要一个数据集。为了方便可视化，我们使用一个二元函数作为目标函数，然后基于它的采样来生成数据集。
注：实际工程项目中，目标函数是未知的，但是可以基于它进行采样。

虚构目标函数

$o(x,y)=\{\begin{array}{ll}1& x^2+y^2<1\\ 0& \text{其它}\end{array}$

代码如下：

def o(x, y):
    return 1.0 if x*x + y*y < 1 else 0.0

生成数据集

sample_density = 10
xs = [
    [-2.0 + 4 * x/sample_density, -2.0 + 4 * y/sample_density]
    for x in range(sample_density+1)
    for y in range(sample_density+1)
]
dataset = [
    (x, y, o(x, y))
    for x, y in xs
]

生成的数据为：[[-2