- 博客(22)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 第四部分 人脸识别和神经风格转换 - 3 笔记
4.9 内容代价函数Content cost function定义代价函数里内容代价部分。假设用隐藏层l来计算内容代价，层数l越靠前，利用内容代价生成的图像越接近内容图片C。实际应用中，层数l既不会台浅也不会太深。假设选择l层来计算内容代价，令a[l][C]和a[l][G]代表图片C和G在l层的激活值，定义内容代价函数为：代价函数的定义即为，内容图片和生成图片在l层的激活，按元素相减取二范数，前面...
2018-05-26 13:55:18
297
原创 第四部分 人脸识别和神经风格转换 - 2 笔记
4.5 面部验证与二分类Face verification and binary classification利用Triplet loss是训练Siamese网络非常有效的方法，当然还有其他的训练方法。比如，将人脸识别问题看作是一个二分类问题。将两幅影像输入Siamese网络，假设输入为x(i)、x(j)，那么编码输出为f(x(i))、f(x(j))，将编码输入逻辑回归单元，然后进行预测。如果两幅...
2018-05-25 16:20:45
271
原创 第四部分 人脸识别和神经风格转换 - 1 笔记
4.1 什么是人脸识别？What is face recognition?实用的人脸识别系统:人脸识别 + 活体检测人脸验证 vs 人脸识别人脸验证(Face verification)：输入是一张图片以及一个人的名字/ID，输出是验证图片是否是这个人，即1对1问题，分辨图片和ID是否一一对应。人脸识别(Face recognition)：假设有K个人的数据库，输入一个人图片，需要从数据库中找到...
2018-05-24 18:53:29
284
原创 第四部分 目标检测 3 笔记
3.8 Anchor Boxes 为了使一个格子检测多个对象，需要引入Anchor Boxes概念。上图中第六个格子，输出向量y为八维度，只能检测出一个对象，而实际上此格子中有两个边界框的中点落入。Anchor Boxes的思路是，预先定义好多个不同形状的Anchor Boxes，上图中定义了两个。由于有两个Anchor Boxes，格子对应的标签y由[pc,bx,by,bh,bw,c1,c2,c...
2018-05-23 19:58:43
366
原创 第四部分 目标检测 2 笔记
3.5 Bounding box预测Bounding box predictionsYOLO algorithm(you only look once) —— 更精确的边界框检测算法。假设输入的图像大小为100x100，将图像划分为等大的方块，例如19x19的网格，为了简单起见，以3x3的网格举例。每个格子对应一个标签y，如3.1所述，每个y都是8维的，形式如y = [pc,bx,by,bh,bw...
2018-05-23 09:01:35
412
原创 第四部分 目标检测 1 笔记
3.1 目标定位Object localization目标定位即判断目标在影像中是否存在，以及将目标在影像中的位置标记出来。目标检测示意检测图像中是否包括：行人、汽车、摩托车和背景，并将汽车的位置标记出来。网络的输出结果应为:四种对象的softmax输出以及汽车边界框的参数化显示。上图中，假定图像左上角为坐标为(0，0)，右下角坐标为(1，1)，边界框的参数化表示为：（bx,by,bh,bw) =...
2018-05-22 19:16:14
394
原创 第四部分 深度卷积网络-实例探究 3 笔记
2.7 Inception网络Inception network2.6提出的模块结构加上1x1卷积的思想就构成了Inception模块。Inception网络所做的就是将这些模块都组合到一起：Inception网络，即是很多个Inception模块一环接一环，最后组成了网络。自从Inception模块诞生以来，经过研究者们的不断发展，衍生了许多新的版本，比如Inception V2、V3以及V4，...
2018-05-21 19:24:46
193
原创 第四部分 深度卷积网络-实例探究 2 笔记
2.3 残差网络 - 2Residual Networks (ResNets)ResNet论文中指出，如果没有残差、没有这些跳跃连接，随着网络深度的加深，训练错误会先减少，然后增多。而理论上，随着网络深度的加深，应该训练得越来越好才对。实际上，如果没有残差网络，对于普通网络来说，深度越深意味着用优化算法越难训练，随着网络深度的加深，训练错误会越来越多。但ResNets不同，即使网络再深，训练的表现...
2018-05-20 22:52:18
525
原创 第四部分 深度卷积网络-实例探究 1 笔记
2.1 为什么要进行实例探究？Why look at case studies?类似通过别人代码来学习编程，研究有效、成功的CNN网络架构也是不错的学习办法。在计算机视觉任务中表现良好的神经网络框架往往也适用于其它任务，如果有人已经训练或者计算出擅长识别猫、狗、人的神经网络或者神经网络框架，该网络架构同样可以用来构建一个自动驾驶汽车系统。典型CNN架构：经典架构LeNet-5AlexNetVGG(...
2018-05-20 22:35:36
277
原创 第四部分 卷积神经网络 - 2 笔记
1.7 单层卷积网络One layer of a convolutional network如图所示的单层的卷积网络。针对上一层的输出，首先经过卷积，随后加入偏置项，然后应用激活函数ReLU，这即是一个卷积核对应的一个特征映射，若有m个卷积核则会对应m个特征映射，将这m个特征映射堆叠起来，即为经卷积后的输出数据。一个卷积层对应的参数个数：假设有10个卷积核，卷积核大小为3x3x3，则每个卷积核对应...
2018-05-19 16:41:46
788
原创 第四部分 卷积神经网络 - 1 笔记
1.1 计算机视觉Computer vision计算机视觉例子图像分类(Image classification)目标检测(object detection)风格转移(neural style transfer)深度学习应用到大图像上时：若每个像素作为一个输入的特征，那么当图像很大时，影像上像素个数会很多。对应的，网路输入特征的维度将非常大，那么网络的权重将会有海量的参数，既容易产生过拟合，也会对...
2018-05-18 09:26:32
361
原创 第三部分 机器学习(ML)策略2 - 4 笔记
2.9 什么是端到端的深度学习What is end-to-end deep learning一些数据处理系统以及学习系统往往需要多个阶段的处理，而端到端的学习是忽略这些中间处理过程，用单个的神经网络来代替。例子1 语音识别传统方式： 原始音频 —> MFCC特征提取 ——> 音位 ——> 文本 端到端：原始音频 —————————————————> 文本当数据集较...
2018-05-11 16:15:02
160
原创 第三部分 机器学习(ML)策略2 - 3 笔记
2.8 迁移学习Transfer learning神经网络从一个任务中学到的知识可以应用到另一个独立任务中 —— 迁移学习阶段1：训练一个神经网络用于识别图像，训练数据是大量的猫、狗、鸟等动物，网络收敛之后保存各层权重及偏置。阶段2：利用已经训练好图像识别网络继续训练另外的数据集，比如放射科诊断图。首先固定各层参数，由于输出的标签不同，删掉最后一层的权重并随机初始化。阶段3：在新的数据集上进行最后...
2018-05-10 16:24:36
216
原创 第三部分 机器学习(ML)策略2 - 2 笔记
2.4 在不同的划分上进行训练并测试Training and testing on different distributions深度学习算法需要大量的训练数据，不同渠道的数据往往内部分布也不相同，针对分布不同的数据如何进行训练是需要考虑的问题。例子1 猫识别器APP数据来源1、数据来自网络爬虫，特点数量多、取景专业、清晰、拍摄专业，数量：200000。2、数据来自用户上传，特点数量较少，取景拍摄...
2018-05-09 21:50:24
292
原创 第三部分 机器学习(ML)策略2 - 1 笔记
2.1 进行误差分析Carrying out error analysis例子 分析开发集误差在调试猫分类器时，获得90%的准确率，意味着有10%的数据被错分，假设在开发集上10%的数据对应100个样本，若这100个样本中有一些是狗被误分为猫，那么，是否要调整系统使得算法在狗分类上效果更好呢？ 此时不能盲目的将算法改进的目标放在提高狗类图片的识别效果上，首先需要对误分样本进行分析，case1：若1...
2018-05-08 18:55:49
211
原创 第三部分 机器学习(ML)策略1 - 6 笔记
1.11 超过人的表现Surpassing human-level performance例子 分类任务Classification taskCase1：可以认为贝叶斯误差为0.5%，可避免偏差是0.1%，方差是0.3%，应该侧重于调整方差。Case2：训练误差以及开发误差以及超过了人类水平，很难评价是该调整方差还是偏差，模型的精度肯定还是可以进一步改进的，但是并不清楚最优贝叶斯误差是多少，在算法...
2018-05-07 09:09:49
192
原创 第三部分 机器学习(ML)策略1 - 5 笔记
1.9 可避免偏差Avoidable bias偏差 VS 方差明确贝叶斯误差亦或是人类水平误差有利于在不同的场景下专注于不同的算法调整策略。例子 猫分类器Case1：如果训练误差以及开发误差与人类水平误差相差较大 (huge gap)，需要把算法的重点放在减少偏差(bias)上，可以通过调整网络结构(更大、更深)、增加训练时间等方式调整。(gap between Bays error ...
2018-05-06 11:37:51
260
原创 第三部分 机器学习(ML)策略1 - 4 笔记
1.7 什么时候开始改变开发/测试集和指标When to change dev/test sets and metrics改变评价指标的例子：Cat vs Non-cat从评价指标上看算法A优于算法B，但是可以存在这种情况，算法A会将pornographic图片错分为猫，而算法B并不会，爱猫人士是不能容忍算法A的结果，这样即使算法A在评价指标上优于算法B，从公司的角度来看也会倾向于选择算法B。不合...
2018-05-05 08:55:07
163
原创 第一部分 神经网络与深度学习 - 1 笔记
1.2 什么是神经网络What is a Neural Network?例子1 房价预测输入是房子的大小 输出是房子的价格 中间经过“神经元”的表达/激活函数/ 图中为ReLU函数 修正线性单元例子2 多元神经网络输入的维度变为多个，输出仍然为房价，中间加入隐藏层，每个隐层神经元对应激活函数。当网络的结构构建好之后，通过对输入X与输出Y的学习即可拟合出相应的房价预测模型。1.3 用神经网...
2018-05-04 17:05:21
164
原创 第三部分 机器学习(ML)策略1 - 3 笔记
1.5 训练/开发/测试集划分Training, development and test distributions在模型训练的过程中，开发集和测试集的划分对模型最终效果和精度会有很大影响。(开发集又称为保留交叉验证集hold out cross validation set)两个例子：1、猫分类器若选择开发集合测试集数据分别来自不同的区域(国家)，训练得到的模型往往效果不会很好，就好比训练的靶...
2018-05-04 14:33:18
178
原创 第三部分 机器学习(ML)策略1 - 2 笔记
1.3 单一数字评估指标Single number evaluation metric当评价分类器A/B算法好坏的时候，如果有两个指标比如准确率Precision和查全率Recall可供选择，往往不好评价哪个分类器更加好。若有一个单一的评价指标可以综合这两个标准，即可对分类器A/B的优劣进行评价。准确率：判断该物为A的概率是多少。 查全率：类别为A的物体被识别的概率是多少。F1-Score 调和平...
2018-05-04 14:23:10
201
原创 第三部分 机器学习(ML)策略1 - 1 笔记
1.1 为什么ML策略为什么要选择正确的机器学习策略呢？ Why ML strategy?错误的策略往往会导致浪费时间在错误的方向上，达不到好的效果。Ideas：更多的数据集、更多的类型的数据、长时间的训练、尝试不同的优化算法、尝试不同类型的网络结构、随机失活、L1/L2正则化、修改网络结构-不同的激活函数/更多的隐层单元 。。。1.2 正交化 Orthogonalization举例： 每个参量控...
2018-05-04 14:10:34
169
Android基础教程.pdf
2011-11-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人