【神经网络和深度学习】之吴恩达

视频地址:

https://mooc.study.163.com/learn/2001281002?tid=2001392029&from=study#/learn/content?type=detail&id=2001701009 

课件资料：

https://github.com/fengdu78/deeplearning_ai_books  

第一周 深度学习概论

深度学习最近兴起的原因

深度学习与传统机器学习模型的优劣

促使深度学习发展的三要素：数据规模；计算能力；算法改进

结构化数据与非结构化数据

 

 

 

第二周 神经网络基础

逻辑回归的代价函数

logistic回归的概念，公式表示

logistic回归可用于二分类

课程中用到的关于训练集，测试集的一些符号表示

logistic回归的“损失函数”与“代价函数”的概念，以及理论上的损失函数，以及实际中logistic回归所使用的损失函数

实际中使用的LR的损失函数的使用原因：因为它是“凸函数”

对LR的实际损失函数，使用梯度下降的公式原理

导数计算流程图核心：从左到右计算成本函数J；然后反向从右到左计算各节点输出值对上一节点输出值的导数

逻辑回归在针对单个样本时的反向梯度计算；核心计算dw1，dw2，db

向量化：减少显示的for循环，提高向量的预算速度

np.dot()；np.exp(v)；np.log(v)；v**2；1/v 通过numpy的内置函数，来避免使用for循环

应用向量化于LR

      

LR的向量化：

import math

def sigmoid(x): 
    return 1.0/(1+math.e**(-x))


Z = np.dot(w.T,X) + b
A = sigmoid(Z)


或者：
import numpy as np

def sigmoid(x): 
    return 1.0/(1+np.exp(-x))