Pytorch学习（四）搭建简单的神经网络

神经网络的基本概念

• 神经网络是属于机器学习中的一种算法
• 神将网络也是由多层的 感知器（第二层神经元+构成它的第一层神经元 这个组合叫一个感知器）构成的这样一种网络结构。
• 多隐藏层的多层感知器 -> 深度学习
• step function（阶跃函数）是激活函数（Relu sigmoid softmax）的一种。
• 回归问题经常使用L1 L2 loss， 分类问题经常食用softmax和交叉熵
  
• dropout层就是：对我们某些连接的节点来进行抑制。所谓抑制就是将权值项置为0。这样这些节点就不起作用了。
• 正则化问题
  • L1正则项不可导，所以有了L2正则项。但是L2正则项下降太慢，也就是收敛太慢，从而有了smooth L1， 即将L1和L2做一个结合（奥卡姆剃刀原则）。
    

使用Pytorch来搭建神经网络

Pytorch搭建神经网络基本组成模块

• 分类问题使用交叉熵来作为损失函数，回归问题使用MSE来作为损失函数

• 模型性能的评价 —— 交叉验证（简单/2-折/k-折/留一交叉验证 （数据缺失严重的情况下使用） ）

• Pycharm中如果想查看某个函数，按住“command + 鼠标左键”即可跳转