深度学习和神经网络

一、深度学习三要素(data,operation,loss)
深度学习就是如何拟合数据的学科，神经网络有足够多的层或单元就可以拟合任何函数
data: the source of knowledge(supervision)
operation: the space of growth(learning parameters)，设计好定义函数空间，在初始化前提下，根据训练数据让函数逐渐接近数据想让他长成的样子
loss: the goal of fitting(final outputs)，输出目标对齐

二、描述网络
Network shape
layer: 层，相同神经元构成的整体
scale:尺度，the width and height of a layer-for input the original image size
width: 宽度，the number of channels in a layer
depth: 深度，the number of layers

Network complexity
model size: 训练参数数量
model complexity:浮点数运算，FLOPs是计算量，FLOPS是运算时间
receptive:感受野，网路传至某一层时，在这一层中任何神经元能够看到输入至图像中多大的范围，看到的范围越大，该神经元表达的语义信息就越丰富。但神经元可能受到噪声影响，所以很敏感

三、神经网络
1，全连接神经网络Fully-connected Neurons
input: WxHxDx
output: WyHyDy
connectivity:every pair of neurons in X and Y is co