之前结束了吴恩达老师的机器学习的15节课，虽然看得很艰辛，但是也算是对于机器学习的理论有了一个入门，很多的东西需要不断的思考以及总结。现在开始深度学习的学习，仍然做课程笔记，记录自己的一些收获以及思考。 第一周1. ReLU （Rectified Linear Unit） 修正线性单元 ，顾名思义，作用为修正（线性回归会包含负值的情况），可以理解为 max(0,x)，即 取不小于...

接着学习吴恩达老师第三、四周的课程。（图片均来自吴恩达老师课件） 第三周1. 普通的浅层网络                                                               第0层（）          第1层 （）       第二层（）                                              ...

所用图片仍然来源相关课件。第一周 基本知识1. 计算机视觉常解决问题：图像分类、目标检测、神经网络风格迁移（融合两张图像的特征）2. 常用的边缘检测算子，卷积网络中的filter (kernel) 感觉和数字图像处理的滑动窗口差不多最朴素的垂直边缘检测算子（左上角），依然只考虑filter中左端和右端的差异。通过修改权重（例如加强中间的影响），可得到许多的算子（sobel et...

所插入的图片仍然来源于吴恩达老师的课件。第三周 目标检测1. 对象的分类与定位，在输出层不仅输出类别，还应输出包含物体的边界框（bx,by,bh,bw），从而达到定位的目的。注意网络的输出（例如下图的输出就有是否为目标，边界框的参数，以及是哪类的判断）和损失函数的定义（针对不同的输出元素应用不同的损失，例如可以对pc应用sigmoid，边界应用平方差，分类类别应用绝对值等等）     ...

第一周 机器学习策略_1这一门课主要介绍了在具体项目实践中会遇到的一些问题以及采取的策略。所截取的图片依然来源于吴恩达老师的相关视频资源。1. 正交化（Orthogonalization）Andrew建议机器学习的调参过程应保持正交化。上图所示的机器学习的4个流程，每一步的调试方式举例见蓝色字体。对于每一步的处理应尽量不影响其他步骤。当然你也可以采用例如early stopping...

所插入图片仍然来源于吴恩达老师相关视频课件。仍然记录一下一些让自己思考和关注的地方。第一周 训练集与正则化这周的主要内容为如何配置训练集、验证集和测试集；如何处理偏差与方差；降低方差的方法（增加数据量、正则化：L2、dropout等）；提升训练速度的方法：归一化训练集；如何合理的初始化权重矩阵来缓解梯度消失和梯度爆炸的问题；在debug过程中应用梯度检验可以很好解决一些bug。1.应用...