深度学习-自学

z = dot(w,x) + b,逻辑回归 :  dot()函数表示将w和x进行向量相乘.

x代表着输入特征向量, w表示权重, b表示阈值[yù zhí]

逻辑回归公式中，w其实应该写成w.T,因为实际运算中我们需要w的转置矩阵

激活函数 sigmoid的激活函数

判断预测结果是否正确：损失函数

y^(i) 是预测结果  y(i)是实际结果

1/2(y^(i) -y(i))2   基础损失函数 --差平方公式

-（y^log(y^(i)) + (1-y^(i))log(1-y^(i))

R(z)=1/1+E-z
da= -（y/a)+ (1-y)/(1-a)
dz= a-y

整个训练集的损失函数 ：成本函数
-1/m {（y^log(y^(i)) + (1-y^(i))log(1-y^(i))

ground truth 正确的分布/原始的分布
prediction  模拟拟合的分布/目前的分布

网络神经的学习就是要找到合适的W 和b

W'= W - r* dw

W' 为w的新值

r 为学习步进/学习率

dw ：是参数W关于损失函数J 的偏导数 ，斜率

dj/dv  j关于v的偏导数： J的改变量 除以 v的改变量

dj/da 改成da 最终函数的偏导数

tensorflow ：tensor张量 
数据流图或者计算图是tensorflow的基本计算单位
每个点代表 tf.operation , 每个边代表节点之间传递的张量 tf.tensorflow

Z=WtX + b

entropy 熵

Wt：表示矩阵转置 m*n 变成n*m