Epoch和Batch，权重衰减和Dropout，Softmax和Logistic，IOU的基本概念

由于是从Word文档直接复制过来，其中格式如果乱码或者不通顺，请评论区告知我

一、卷积网络基本概念

参考链接：https://blog.csdn.net/lql0716/article/details/80853169

1、Epoch和Batch

Epoch
　　当一个完整的数据集 D
　　通过了神经网络一次并且返回了一次，这个过程称为一个 epoch
Batch
　　当一个 epoch 对于计算机而言太庞大的时候，就需要把它分成 k个小块（k 个子集 {B1,…,Bk}），一个小块 Bi 就是一个batch，一个batch通过神经网络一次就是一个epoch，那么全部数据 D 要通过神经网络一次，那就需要迭代 k 次才能使得这 k 个 batch 全部通过神经网络一次，也就是需要经过 k个 epoch

例子
　　比如对于一个有 2000 个训练样本的数据集。将 2000 个样本分成大小为 500 的 batch，那么完成一个 epoch 需要 4 个 iteration。

2、权重衰减（weight decay）和Dropout（清理掉无用的神经元）

去掉无用的神经元之后，会产生一个新的神经网络，利用新的神经网络继续训练