吴恩达神经网络与深度学习——神经网络概述

神经网络基础

2.1二分分类

识别图像中是否有猫

输入图像X为彩色图像大小为64*64，输出j结果标签y等于0时，图像中无猫，等于1图像中有猫。

将输入x展开成为一个列向量：

所以，输入特征向量为：

一些符号

(x,y) 代表独立样本

训练样本的数量：

测试样本的数量：

在python中shape()用来输出军阵维度
X.shape=(nx,m),Y.shape=(1,m)

2.2logistic回归

给一张图像x，预测这张图像上是否有猫y^=p(y=1|x)
x是一个nx维向量，y在0和1之间

2.3 Logistic回归损失函数

损失函数

y=1时，要损失函数小，则y^越大越好；
y=0时，y=1时，要损失函数小，则（1-y^）越大越好；

代价函数

2.4 梯度下降

  想要找到最小化代价函数J(w,b)是的参数w及b

梯度下降法的思想

从初始点开始，朝着最陡的下坡方向下降。

repeat{
w:=w-alpha*dJ(w,b)/dw;
b:=b-alpha*dJ(w,b)/db;
}

2.5导数

a=2时，f(a)=6
a=2.001时，f(a)=6.003
该函数的导数（斜率）为高/宽  即3
a=5时，f(a)=15
a=5.001时，f(a)=15.003
该函数的导数（斜率）为高/宽  即3

2.6更多导数的例子

a=2时，f(a) = 4
a = 2.001时，f(a)=4.004
导数为4
a=5时，f(a) = 25
a = 5.001时，f(a)=25.010
导数为10
则
df(a)/da=2a

if f(a)=a^3
	df(a)/da=3a^2
a=2时，f(a) = 8
a = 2.001时，f(a)=8.012
导数为12
if f(a)=lna
	df(a)/da=1/a
a=2时，f(a) =0.6935
a = 2.001时，f(a)=0.69365
导数为0.5

2.7计算图

神经网络都是按照前向或后向传播过程来实现的。首先计算出神经网络的输出，紧接着进行一个反向传播操作，计算对应梯度或导数。

J(a,b,c)=3*(a+b*c)
1）.u=b*c
2）.v=a+u
3）.J=3*v

该流程图，从左到右计算出J

2.8计算图的导数计算

J = 3v
	v = 11--->11.001
	J = 33--->11.003
	dJ/dv=3
python dv=3

	u=6--->6.001
	v = 11--->11.001
	J = 33--->11.003
	dJ/du=3
python du=3

	a=5--->5.001
	v = 11--->11.001
	J = 33--->11.003
	dJ/da=3
python da=3

	b=3--->3.001
	u = 6--->6.002
	J = 33--->11.006
	dJ/db=6
python db=3

	c=2--->2.001
	u = 6--->6.003
	J = 33--->11.009
	dJ/dc=9
python dc=9

2.9 Logistic回归梯度下降

2.10 m个样本的梯度下降

2.11向量化

向量化通常用来消除代码中的for循环

'''for循环
z = 0
for i in range(n_x)
	z +=w[i]*x[i]
z +=b 
'''向量化
z = np.dot(w,x)+b

'''example
import numpy as np
a = np.array([1,2,3,4])
print(a)

import time 
a = np.random.rand(1000000)
b = np.random.rand(1000000)
'''Vectorized version:
tic = time.time()
c = np.dot(a,b)
tio = time.time()
print(c)
print("Vectorized version:" + str(1000*(tio-tic))+"ms")

'''for loop
c = 0
tic = time.time()
for i in range (1000000):
    c+=a[i]*b[i]
tio = time.time()
print(c)
print("for loop:" + str(1000*(tio-tic))+"ms")

2.12向量化的更多例子

例1

'''for loop:
u = np.zero((n,1))
for i in ...
	for j in ...
		u[i]+=A[i][j]*v[j]

'''vectorized version
u = np.dot(A,v)

例2 向量的指数

逻辑回归

2.13 向量化Logistic回归

z = np.dat(w.T,x)+b

2.14 向量化Logistic回归的梯度下降

m个样本的梯度下降

'''vectorized version
for iter in range(1000):'''梯度下降迭代
	Z = np.dot(w.T,X)+b
	A = sigmoid(Z)
	J = -1/m*np.sum(Y*np.logA+(1-Y)*np.log(1-A)
	dZ =A -Y
	dw=1/m*np.dot(X,dZ.T)
	db = 1/m*np.sum(dZ)
 	
 	w = w - alphadw
 	b = b-alphadb	

2.15 python中的广播

广播是一种让python代码执行更快的手段

计算四种食物中的卡路里

import numpy as np
A =np.array( [[56.0, 0 ,4.4, 68.0],
     [1.2, 104.0, 52.0, 8],
     [1.8, 135, 99, 0.9]])
print(A)
## axis = 0,竖直相加；axis = 1,水平相加；
cal = A.sum(axis=0)
print(cal)
## A :3*4 cal: 1*4
per = 100*A/cal.reshape(1,4)
print(per)

广播

如果你有一个m*n矩阵，加上或减去或乘以或除以一个n*1矩阵，python会把它复制m次变成m*n矩阵，然后再逐个元素做加减乘除。

python/numpy向量说明

#不要使用这个
a = np.random.randn(5)#生成一个轶为1的元组
print(a)
print(a.shape)
s = np.dot(a,a.T)
print(s)

    a = np.random.randn(5，1)#生成一个5*1矩阵
    print(a)
    print(a.shape)
    s = np.dot(a,a.T)
    print(s)