华为云课堂-AI技术领域课程-深度学习-学习笔记0708第一章

目录

第一章 神经网络基础概念概念

1.1 神经元分生物神经元和（人工）神经元

1.2 感知机最简单人工神经网络，单层感知机是二分类器

1.3 激活函数加入非线性

1.4 前向传播及损失函数

1.5 反向传播

1.6 卷积神经网络cnn

---

本文来自华为云课堂，侵权速删。

第一章 神经网络基础概念概念

• 1.1 神经元
  分生物神经元和（人工）神经元

  • 特性：兴奋性，传导性
  • 生物神经元分类：感觉神经元，运动神经元，联络神经元
  • 人工神经元

    

  • 生物人工对照表

    

  • 神经元分类
    • 前馈网络，只向前传递
    • 反馈网络，神经元有记忆功能（rnn）
    • 图网络，没有特定方向，保存非结构数据

• 1.2 感知机
  最简单人工神经网络，单层感知机是二分类器

  • 单层感知机限制：异或问题

    

  • 隐藏层层数对神经网络的影响
    • 分类能力

      

    • 特征表达能力

      

  • 感知机的三点扩张

    

• 1.3 激活函数
  加入非线性

  • 常见

    • 

    • 

  • 如何选择
    • 1.非线性
    • 2.连续可微
    • 3.有界性（更稳定）
    • 4.单调性
    • 5.平滑性

  • 1.4 前向传播及损失函数

    • 定义

      • 

      • 

    • 常见损失函数

      

    • 损失函数的极值

      

    • 梯度下降方法

      

  • 1.5 反向传播

    • 反向传播算法

      

      • 

      • 

  • 1.6 卷积神经网络cnn

    • 概念

      

    • 卷积运算

      

    • 卷积核心思想
      • 局部感知

        

      • 参数共享

        

    • 池化层（最大池化和平均池化）

      

    • 池化作用

      • 

      • 图像不变性（移动不变性，尺度不变性，旋转不变性）
    • 全连接层（分类器）
      • 问题
        • 长期记忆信息衰减
        • 梯度爆炸和梯度消失
  • • 循环神经网络