大白话————Neural network

以高中学习为例

 

学习过程的思维方式、方法总结，这叫神经网络；

 

平常上课，这叫训练集；

平常测验，这叫验证集；

最终考试，这叫测试集；

 

对不同科目所花时间，这叫权重（weight）;

对不同科目的态度，这叫偏向（bias）;

学习效率，这叫损失函数（Loss Function）；

根据自身条件制定学习计划，这叫Layer Types；包括（Convolution (greyscale and color, 2D), Dense (standard, 1D).）

每天学习时长，这叫mini-batch size；

大家的学习方法，这叫Learing Rules；包括（sgd, momentum, nesterov, adadelta, adagrad, rmsprop, adam.）

刚开始对一个科目的理解能力，这叫学习率(learning rate)

学习过程需要老师、同学协助理解，这叫Activation Functions；包括（Sigmoid, Tanh, Rectifier, Softmax, Linear.）

 

平常上课感觉良好，考试就不太理想了，这叫过拟合（overfitting）

想办法改善这个问题，这叫正则化（Regularization） ；包括（L1, L2, dropout, and batch normalization.）

周末多花点时间在不擅长科目长，这叫L1；

每天都增加点时间在不擅长科目上，这叫L2；

与优秀同学多交流来进行学习，这叫dropout；

 

平常上课不在状态，考试也没考好，这叫Underfitting；

最终我们每一科都形成了自己的笔记，这叫Dataset Formats；包括（numpy.ndarray, scipy.sparse, pandas.DataFrame and 

iterators (via callback).）

 

希望自己更优秀，这叫优化；这也是神经网络目前正在做的！！！