1.二分类问题
对于图片分类的二分类问题,假设为彩色RGB图片,下图为
![e4bc3c7037a8848f00c1df2693e324b2.png](https://i-blog.csdnimg.cn/blog_migrate/f4073c6fe99d6cc010ac83995a08d1cf.png)
一般图片较低像素时为64*64,则每一张图片为
![0c139cef61eca9dfbdec715324d1e868.png](https://i-blog.csdnimg.cn/blog_migrate/50fc24ddbfd85dad49b7144e278775ef.png)
将这个张量转换为向量即为12288*1的向量,如此便可作为神经网络的输入了。输出
2.logistic回归
输入x,输出
![fc13c93357a66961e1623fe760d72d91.png](https://i-blog.csdnimg.cn/blog_migrate/39ab8f1eae14fc82c33479ecda4eade4.png)
![64574fc690918298fdbf599b162fa1b7.png](https://i-blog.csdnimg.cn/blog_migrate/083ab609e124bee3e28fd953fe0b1121.png)
当z趋于正无穷时,
3.logistic回归损失函数
首先考虑到的肯定是使用误差平方作为损失函数
![e9ebd13dc9797e94915889fc1d47ce10.png](https://i-blog.csdnimg.cn/blog_migrate/847428e6a3554a08bb083fff671dc8a4.png)
然而,上式y-1/(1+
因此需要找到一个损失函数,既能满足需求,同时还是一个凸函数,即想到了交叉熵损失函数
![0fb1e1ca689942f93cb67208314abca9.png](https://i-blog.csdnimg.cn/blog_migrate/8469e93a86a9c3b5694123091f703c86.png)
当y(i)=1时,损失函数为
同理可知,当y(i)=0时,损失函数为
成本函数,即针对所有样本,多个损失函数的平均
![b6765f1a4fa6df1365c3c483242d591b.png](https://i-blog.csdnimg.cn/blog_migrate/ec1d8e0349f32ded897002f3e4b47c69.png)
logistic回归可以看做是一个小的神经网络。
4.梯度下降法
由上可知,误差平方为非凸函数,而以交叉熵函数作为成本函数为凸函数,因此可以使用梯度下降法求解最小值。
(1)设定初始值w,b,可任意值
(2)朝最陡方向走一步,此处学习率
![36fb6f12321e1e71b2462b4df4435634.png](https://i-blog.csdnimg.cn/blog_migrate/a0f78dd25fe0f4066932b4ff8aa07775.png)
(3)直到走到底端
tip:
5.导数
一次函数,斜率即导数,即高除以宽
![b05ad81d48fd47a03ad295b8d3a8b526.png](https://i-blog.csdnimg.cn/blog_migrate/f7cf008677b6022c376f2a6a91870649.png)
二次函数,导数会变化
![af3730dacdee9b4b701e6d65143fe77e.png](https://i-blog.csdnimg.cn/blog_migrate/8ba8654acc613697460289ac52704891.png)
6.计算图
正向传播,一步一步计算
![5292d74cb80aa18057274d89eb4b290f.png](https://i-blog.csdnimg.cn/blog_migrate/ae18f530b52f2dec0a8c74849b7e8c35.png)
反向传播,分布求导,链式法则
![60d71c5b179cd6bb1d169ab16f16fd56.png](https://i-blog.csdnimg.cn/blog_migrate/f899cbbee80aff70fe8ed41e629c11cb.png)
tip:链式法则计算出的中间导数结果可以用于之后的每一次求导,可以减少计算量,提高效率
7.logistic回归中的梯度下降法
logistic回归的公式与损失函数上文已给出
![11598cf6ceab501420ad2e59c6f340b5.png](https://i-blog.csdnimg.cn/blog_migrate/7df5e7e981ca1fe66db707c88c6458a4.png)
单样本梯度下降
假设公式中设计到的参数有
![4d66cc8c17bf7ddc7d46a6c5af5e6e74.png](https://i-blog.csdnimg.cn/blog_migrate/f2d651da0dc74c587d388bbe0586fa94.png)
目的是求损失函数的最小值,因此需要对损失函数求导,利用链式法则向前分别求导。
![e7a883e4d04d87d5d48f19de1157e257.png](https://i-blog.csdnimg.cn/blog_migrate/a153c0ea8086535307fbbdda3bbdd596.jpeg)
多样本梯度下降
![84e15c3cba6b7540082f25268bfc56b7.png](https://i-blog.csdnimg.cn/blog_migrate/043a46c1ba56ca49547a8bfb37145537.png)