机器学习-实现简单神经网络（笔记和代码实现）

一、神经网络简介

 神经网络算法的发展历史

 起源：20世纪中叶，一种仿生学产品。

            兴起：环境->2进制创新；能力->软硬件；需求->人的性价比。

 主要功能：

           分类识别

           分类：图像（自动驾驶）、语音（语音助手）、文本（新闻推送）

       （1）了解神经网络的脉络

            训练学习：网络结构、激励函数、损失函数、梯度下降

            网络结构：

这就是一个神经网络的结构，是一个单层的结构，但是具有输入层、隐含层、输出层、最终预测的值。

    逻辑回归：

        它是一种最简化的网络结构。

 激励函数：

        作用：提供规模化的非线性化能力。

 常用的神经元：

        Sigmoid，它的优点是在整个区间上都是可导，缺点是不对称：

 tanh：

ReLU：

 

目前使用的最多的神经元是ReLU。

损失函数：

        理解神经网络的相关概念和函数。

 单次训练损失：

 全部训练损失：

梯度下降：

         理解逻辑回归中的梯度下降。

          对w、b进行同步更新。

 网络向量化：

        理解神经网络的网络向量化。