智能技术_9：神经网络基础

智能技术_1:安装TensorFlow和Keras
智能技术_2:大数据分析与机器学习概论
智能技术_3:关联规则
智能技术_4：贝叶斯分类和贝叶斯网络
智能技术_5：决策树
智能技术_6：K个最近邻居（医疗旅游）
智能技术_8：回归方法(智能交通)
智能技术_9：神经网络基础

---

# 写于2021.04.15
# 本文为学习笔记，用的ppt是陈志华教授版，侵删
# 笔记只为交流，入门小白，有错望留言纠正
# TensorFlow+Keras 内容后面补
# 总结不易 望赞鼓励

1 神经网络在学什么

• 描述
• 因果
• 预测

关于逻辑回归详细介绍：https://zhuanlan.zhihu.com/p/74874291

1.1 本章学什么

• 线性回归（线性函数）
• 逻辑回归 (s型函数)
• 神经网络 (线性函数)
• 神经网络 （s型函数）

：杨鸽理解 ：

• 神经网络是有隐藏层的，而回归没有隐藏层。
• 神经网络有很多方法，其中用到线性函数，S型函数 只是其中方法之一；
• 梯度下降是缩小误差的一种高效的方法，还可以随机数，误差小了就更新，但这样效率很低；

1.2 线性回归和逻辑回归的限制

参数之间要相互独立 不受影响，如果相互影响 那么结果会误差很大。

例子-XOR互斥:
>

因为 b w有XOR现象，应该加一层神经网络来计算出w,b的权重 这样结果会更准确

2 线性回归/线性函数（梯度下降）

我个人认为梯度下降是种方法，可以用来指导机器学习的，来修正估计值的，也可以随机出来数 误差减小的来修正，但对比梯度下降效率很低。

2.1 一元梯度下降

2.2 二元梯度下降

2.3 对梯度下降的物理理解

• 我们能看出来 w估计值w^ 的斜率 跟误差δ和x值成正比
• b估值修正 跟b^的斜率，也就是误差δ成正比

3 逻辑回归/S型函数（梯度下降）

逻辑回归中的梯度下降
公式⑤思想非常重要

4 神经网络（线性函数、梯度下降）

• 个人认为 有隐藏层就是神经网络
• 梯度下降用于神经网络权重和误差项

4.1 W2、B2的估计值修正

4.2 W1、B1的估计值修正

5 神经网络（S型函数、梯度下降）

5.1 W2、B2的估计值修正

5.2 W1、B1的估计值修正

6 神经网络（多个输入参数）

6.1 线性