zbazz的博客

Vectorization什么是向量化？向量化是为了让模型的速度更快左边是非向量化的实现，右边是向量化的实现图中是使用for循环和向量化处理的时间对比，可以看出向量化后快了将近300倍。更多向量化的案例：More Vectorization Examples绿色笔记使得原来的两个for循环变成了一个，提高了速度。Vectorizing Logistic Regressionbroadcasting...

1. 序列模型能解决哪些问题如语音识别、生成音乐、情感分类（如将对电影的评价转换为星级）、DNA序列检测（是不是某种蛋白质）、机器翻译、视频动作识别、姓名识别等。2. 符号定义输入：x，第一个单词x<1>等等，输出：y 第i个结果：y<i>。Tx代表输入的长度（有几个词），x/y中的t是某个时间点的意思。要识别某个词，首先要有一个字典，然后将语句中的...

1. tune process会调整的超参数：红、黄、紫为调整的可能从粗略到详细地调整，尝试随机2. 为超参数选择合适的范围一般不会使用线性轴，因为在首末对于熟知的变化敏感程度不一样，需要更多的去寻找。如果使用线性然后由粗到细的找最后也能找到合适的超参数3. 超参数设置实践：Panda V.S. Caviar(熊猫和鱼子酱），来代表两种不同实验超参数...

1. 误差分析误差分析：真的是把狗误标记成猫的样本多吗？可以画一张表手工验证，给后期调优具体方向2. 清除标注错误的数据训练集分类将小白狗分类为猫，这种随机的错误在数据量很大的时候可以不做修改，但是某些错误（比如把白色的狗都分类成猫）为系统错误，没有那么好的鲁棒性。建议：3. 建立好模型，然后迭代4. 在不同分布上的训练、测试假设实际使用的数...

本周将如何是的自己的算法更快1.mini-batch梯度下降同时处理的不再是整个X和Y，而是一部分X^{1}、Y^{1}...这样可以使梯度下降先处理一部分，加快训练速度。batch来源于整个训练集合训练完成梯度下降，mini-batch是分割数据集后进行多次梯度下降。epoch 代表完全遍历集合一次，batch只能做一次梯度下降，而mini-batch可以做多次（和分割的大小有关...

1. 为什么是机器学习策略不用在错误的方向上浪费大量的时间。2. 正交化例子：老式TV的旋钮，每个旋钮只能调节一个画面属性（长宽比、矩形化、X轴位置、Y轴位置等），这样可以很方便的调节画面到正中，而如果调节一个旋钮同时改变两个属性（长宽和位置），虽然理论上是可以将画面调节到正中的，但是很难。3. 单一数字评估指标用查准率与查全率不能很好地全面反映，可以用F1分数...

1. 实例学习2.经典神经网络LeNet - 5AlexNetVGG-163. 残差网络（Residual Networks, ResNets)残差块：short cut/skip connection原来的传播是a->liner->ReLu->liner->ReLu->a[l+2]残差块做的事是把a直接约过几个层，传播到ReLu之前，让a[l+2]在ReLu计算时包...

本周内容：浅层神经网络1. 神经网络概览：如图所示为一个简单的神经网络正向传播和反向传播的示意图，对于输入x，结合w and b得到z，进而得到a=sigmoid(z)，再和w and b 得到z，得到a2（也是结果）。2. 神经网络的表示：神经网络分为三层：input/hidden/output layer为什么称为hidden layer：在训练集中无法“看到”输入层x也叫a[0]（上标），a...

学而不思则罔，思而不学则殆。第一个系列的课程主要介绍什么事神经网络和深度学习，介绍了系列课程的总体结构：What is a neural network?举例：房价预测假设知道六个房子的面积和价格，对房价进行预测，假设结果是一条直线，又知道房价不可能为负，所以函数与x轴交点之前的值均为0。这个函数是深度学习中常见的ReLU（线性整流函数 Rectified Linear Unit）。我们把房子的大...

1. 目标定位从简单的检测有没有车到给车画上框，实际增加了四个参数bx,by,bh,bw，为框左上角的点和长宽：损失函数可以用八个值得平方差，也可以根据不同的选择不同的方式：c1到c3使用softmax并输出一个，边界坐标用平方误差，Pc用逻辑回归，等等2. 特征点检测汽车、人脸、动作的特征点3. 目标检测滑动窗口：缺点：对于卷积来说太慢了（已解决）...