深度学习笔记
starktek
这个作者很懒,什么都没留下…
展开
-
激活函数初探
如下图,x为输入,w为权重,b为偏置,激活函数用来处理输入信号的总和,将总和转变为输出。简单的激活函数主要有以下几类。原创 2023-04-03 17:22:59 · 50 阅读 · 1 评论 -
三层神经网络的实现(鱼书P63实现)
2. 未理解 network{}和 network=init_network。期间遇到的问题:1. 未定义激活函数和恒等函数。原创 2023-04-02 15:04:35 · 135 阅读 · 0 评论 -
关于epoch,batch size,和iteration
这就好像我们人吃饭,假设每天食物摄入量是固定的(数据总量,也就是一个epoch),我们可以少吃多餐,这种情况下无论是每天吃5餐还是10餐(即iteration),其实不是那么重要,因为这种情况下每餐吃的都是比较少的,没什么负担。也就是说,你要把100个数据集扔进神经网络训练10次,每次(每个epoch)你要把100个数据集分成20份,每份数据为5个(batch size=5),所以你需要投入20次(iteration)来完成一个epoch。一个epoch 指的是把所有训练数据丢进神经网络一次。原创 2023-04-01 10:33:57 · 354 阅读 · 0 评论