神经网络基础——吴恩达学习笔记

最新推荐文章于 2023-06-20 16:39:02 发布

一杯敬朝阳一杯敬月光

最新推荐文章于 2023-06-20 16:39:02 发布

阅读量221

点赞数

分类专栏：深度学习文章标签：深度学习

本文链接：https://blog.csdn.net/qq_xuanshuang/article/details/105660394

版权

深度学习专栏收录该内容

21 篇文章 0 订阅

订阅专栏

一些记号

训练集： $((x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\cdots,(x^{(m)},y^{(m)}))$ ，其中 $x^{(i)}\in \mathbb{R}^n,\ y^{(i)} \in \{0,1\}$

将m个样本按列堆叠，其中每1列是一个样本， $X \in \mathbb {R}^{n\times m},Y \in \mathbb{R}^{1 \times m}$ 。

$X = \begin{bmatrix} \vdots & \vdots & & \vdots\\ x^{(1)} & x^{(2)} & \cdots & x^{(m)}\\ \vdots & \vdots & & \vdots \end{bmatrix} \ \ \ \ Y=[y^{(1)},y^{(2)},\cdots,y^{(m)}]$

方括号与圆括号

$a^{[l](i)}$ 表示第i个样本在第l层的输出。

反向传播引言

链式法则

logistic回归

给定x，想要学得 $\hat{y}=P(y=1|x), \ \ 0 \leqslant \hat{y} \leqslant 1$ 。

模型

参数： $w \in \mathbb{R}^{n_x},\ b \in \mathbb{R}$

$\hat{y} = sigmoid(w^Tx +b)$

损失函数

$L(y^{(i)},\hat{y}^{(i)}) = -(y^{(i)}log(y^{(i)}) + (1-y^{(i)})log(1-\hat{y}^{(i)}))$

$\begin{aligned} &if \ y^{(i)}=1: L(y^{(i)},\hat{y}^{(i)})=-log(\hat{y}^{(i)})) \ where\ \hat{y}^{(i)} should \ be \ closed to \ 1\\ &if \ y^{(i)}=0: L(y^{(i)},\hat{y}^{(i)})=-log(1-\hat{y}^{(i)}))\ where\ \hat{y}^{(i)} should \ be \ closed to \ 0 \end{aligned}$