全连接 CNN 基础网络总结

pytorch里，无论哪种网络，输出都是一个Tensor张量。

网络设计损失时，是label 和 out相减

输出层常用的激活函数：

     SIGMOiD，二分类

      softmax，多分类时，二分类时，退货为SIGMOD，二者输出都是0-1的数据， softmax输出是概率分布，和为1

      做二分类时，sigmoid输出1个数，softmax因为是个概率分布，所以会输出2个数，即两个神经元

       y=x不激活,输出为坐标时，如果加了激活函数坐标就变化了

 

网络学习时，w和b初始化的时候一般都会设计成阶段正态分布，正态分布的三sheigema码原则,,用截断正态分布

刚好取到梯度最大的地方

 

全连接嵌套其他网络中做数据融合；卷积处理空间问题，比如图片   

 商用项目上会加置信度，用来表示图片上是否有要处理的目标。网络实际是矩阵运算，商用项目中为了减少该运算，会先筛选数据，是否需要去训练坐标iz

 

数字十分类，是分类问题，做了10分类的one-hot编码，最终是拿到一个值（最大概率的下标）来使用

追踪小黄人，是回归问题，标签是四个数，网络设计输出四个值（两个点的坐标），当四个值相近时，就找到小黄人。输出的值都要使用