tsq292978891的博客

知乎链接凸函数，凹函数：凸函数是一个定义在某个向量空间的凸子集C（区间）上的实值函数f，而且对于凸子集C中任意两个向量, f((x1+x2)/2)>=(f(x1)+f(x2))/2,则f(x)是定义在凸子集c中的凸函数（该定义与凸规划中凸函数的定义是一致的，下凸）。凹多层神经网络通常是一个非凸的函数。非凸的本质难题是鞍点数目太多，除非深度网络设计使得非凸的函数绘景类似一个漏斗（类似“V”型）且最小值

总结：训练过程中，batch_size的选取对模型精度和模型泛化能力的影响：batch_size过大，模型没有BN层，模型收敛速度变慢。而且模型容易陷入局部最小值，模型精度低。batch_size适中，模型没有BN层，模型收敛速度很快，模型不容易陷入局部最小值，而且模型精度很高。batch_size过小，比如说小于数据集中的类别个数，模型没有BN层，模型会出现不收敛的情况。batch_s...