深度学习课程笔记（2）

1. 逻辑回归是一个二元分类算法
   1. 标签shape：1Xm

   2. 训练网络时经常将w和b分开看

   3. 逻辑规模模型：含参数w和b

   4. 逻辑回归中一般不使用均方误差，因为当研究参数时，优化问题会变成非凸问题（会产生多个局部最优解），所以梯度下降法也无法找到全局最优解，逻辑回归一般使用的是交叉熵函数

   5. 对于逻辑回归几乎所有对于w和b的初始化方法都是有效的，通常使用0来进行初始化

2. 规定标记符号：
   1. y:输出标签
   2. 单个样本：(x,y)
   3. m表示训练集的样本数
   4. dw表示导数
3. 在计算机里保存一幅彩色图像1，计算机需要存储3个独立的矩阵
4. 组织样本为训练矩阵：每个样本按列排列得到训练集矩阵
5. 函数L被称为损失函数，需要进行设定
6. 代价函数：每个样本的损失函数之和除以样本数（求均值）
7. 学习率可以控制在每一次迭代或梯度下降法中步长大小

8. 掌握深度学习，复杂的数据公式不一定需要透彻了解

9. 导数就是斜率

10. 深度学习中一般不使用显示for循环，因为数据特征太多，会很慢，使用矢量化来摆脱for循环

11. np.dot计算WTxX

12. time.time()测试程序时间

13. GPU和CPU都有并行指令：SIMD指令（单周期多数据流）

14. 任何时候都不要显示地使用for循环：

    1. 使用内置函数替代for循环

    2. 当想要使用for循环时看看numpy是否有内置函数可以实现相应计算

15. 关于boardcasting:
    1. axis=0表示沿垂直列计算
    2. boardcasting实质在不一样的维度方向复制，直到两个操作数相同维度，并且是从由向左进行对比扩展，测试如图：
       

       1. 实际计算x+y时，x.shape=(2,2,3)，y.shape=(2,2,3);

       2. 实际计算x+z时，x.shape=（2,1,3），z.shape=(2,1,3) 

16. 当不确定矩阵维度时，使用reshape确保正确
    1. 编程时不要使用形如（n,）这样的秩为1的数组
    2. 可使用类似语句

       assert(a.shape==(5,1))

       确保使用数据符合预期维度避免隐藏bug