吴恩达-深度学习
关注
分享
扫一扫
吴恩达深度学习课程
bijingrui
bijingrui1997
展开
-
5.2 自然语言处理与词嵌入 （后续内容pass，断更，对NLP没兴趣）
词嵌入此前单词的表示方法：one-hot一个列向量，只有字典index对应的元素是1，其他都是0.各个单词比较独立，无法表示词与词之间的关系。使用词嵌入，可以表示很多特性使用词嵌入技术：迁移学习+词嵌入好处：例子1：SJ是一个orange farmer。例子2：AB是一个apple farmer。如果使用one hot，词比较独立，orange换成apple，神经网络识别不出AB也是个人名。而使用词嵌入，orange换成apple，神经网络能推断出AB.原创 2020-10-23 21:22:15 · 245 阅读 · 0 评论 -
5.1 循环序列模型（序列模型、循环神经网络RNN、使用LSTM/GRU来增强RNN的记忆性、双向循环神经网络BRNN、深度RNN）
序列模型RNN 属于一种 序列模型上一章节说的是CV，我们想到了CNN 。 --卷积神经网络（Convolutional Neural Networks）这个章节说的是智能语音相关，我们想到了RNN。 --循环神经网络(Recurrent Neural Network)例子语音识别情感分类DNA序列分析机器翻译视频活动识别人名识别序列模型的数据集明显的不同点：每个样本的长度 可能不同。例子：输入是x，若元素是人名，则输..原创 2020-10-18 20:29:00 · 471 阅读 · 0 评论 -
4.4 人脸识别、图片风格转换（One-Shot 学习、Siamese 网络、Triplet 损失、二分类结构、【神经风格转换】）
One-Shot 学习问题：员工门禁中的人脸识别系统，数据库里只有他自己的一张图片，训练集很小，如何训练神经网络去识别？新加入员工后，再重新训练网络？解决方案：Similarity=d(img1,img2) ,它定义了输入的两幅图像的差异度，如果两个图片是同一个人，结果值会很小。Siamese 网络相关论文：Taigman et al., 2014, DeepFace closing the gap to human level performanceTriplet 损失..原创 2020-09-29 22:23:05 · 409 阅读 · 1 评论 -
4.3 目标检测（目标定位（输出表示、损失函数）、特征点检测、目标检测·滑动窗口、找出目标的边界bounding box(YOLO算法)、交互比 IoU、非极大值抑制、Anchor Box）
目标定位输出表示Pc = 1 表示 有东西存在，具体是什么东西，要看c1 c2 c3；损失函数对于Pc = 1，这个列向量8个元素，每个元素都要与训练集里面的真实值去比较，最终得出比较结果。对于Pc = 0，这个列向量8个元素，只用第一个元素就可以了。特征点检测神经网络可以像标识目标的中心点位置那样，通过输出图片上的特征点，来实现对目标特征的识别。在标签中，这些特征点以多个二维坐标的形式表示。比如：识别四个眼角 l1x l1y l2x ...原创 2020-09-25 19:42:48 · 1511 阅读 · 1 评论 -
4.2 深度卷积网络：实例探究（ 经典的卷积神经网络（LeNet-5、AlexNet、VGG）、残差网络、1x1卷积(维度==1x1的滤波器)、Inception 网络、CV现状）
简介本文讲到的经典 CNN 模型包括：LeNet-5 AlexNet VGG此外还有 ResNet（Residual Network，残差网络），以及 Inception Neural Network。经典的卷积神经网络LeNet-5特点：LeNet-5 针对灰度图像而训练，因此输入图片的通道数为 1。 该模型总共包含了约 6 万个参数，远少于标准神经网络所需。 典型的 LeNet-5 结构包含卷积层（CONV layer），池化层（POOL layer）和全..原创 2020-09-20 19:37:11 · 1094 阅读 · 0 评论 -
4.1 卷积神经网络（CV简述、卷积运算（滤波器、边缘检测）、填充padding、高维卷积（3维的RGB图片进行卷积运算）、单层卷积网络与传统神经网络对比、池化层、使用卷积的原因）
计算机视觉一般的计算机视觉问题包括以下几类：图片分类（Image Classification）； 目标检测（Object detection）； 神经风格转换（Neural Style Transfer）。输入可能会非常大一张 1000x1000x3 的图片，神经网络输入层的维度将高达300万，使得网络权重 W 非常庞大。导致：神经网络结构复杂，数据量相对较少，容易出现过拟合； 所需内存和计算量巨大。因此，一般的神经网络很难处理蕴含着大量数据的图像。解决这一问题的方法就是使原创 2020-09-19 21:42:36 · 1516 阅读 · 0 评论 -
3.2 实战项目二（手工分析错误、错误标签及其修正、快速地构建一个简单的系统（快速原型模型）、训练集与验证集-来源不一致的情况（异源问题）、迁移学习、多任务学习、端到端学习）
手工分析错误手工分析错误的大多数是什么猫猫识别，准确率90%，想提升，就继续猛加材料，猛调优？ --应该先做错误分析，再调优！把识别出错的100张拿出来，如果发现50%是"把狗识别成了猫"。那么发力点就是这个，如果再优化，提升就很大！如果发现只有5%是"把狗识别成了猫"，那么在这个方面努力，提升不大。手工也可以分析多个错误类别对于识别出错的100张图片，分析到底是什么情况。对于上述问题，找准方向，让系统识别不清楚的猫的能力更强，就提升很大！错误标签训...原创 2020-09-16 20:33:11 · 732 阅读 · 0 评论 -
3.1 实战项目一（决策很重要：下一步该怎么搞、正交化、单值评价指标、优化指标和满足指标、AI能力与人类能力，贝叶斯最优误差）
决策很重要：下一步该怎么搞收集更多数据 调试超参数 调整神经网络的大小或结构 采用不同的优化算法 进行正则化 etc.我们有可能浪费大量时间在一条错误的改进路线正交化简单理解：一个任务 == 多个独立子任务，当某个任务发生变化，其他不受影响！电视机 == 按钮1调节亮度 按钮2调节音量 按钮3调节色彩对比度 互不影响！对于监督学习：希望达到四个目标建立的模型在训练集上表现良好； 建立的模型在验证集上表现良好； 建立的模型在测试集上表现良好； 建立...原创 2020-09-16 14:12:30 · 355 阅读 · 0 评论 -
2.3 调试神经网络（调整超参数、归一化隐藏层Batch Normalization、softmax激活函数处理多分类问题、安装与使用TensorFlow）
调整超参数重要程度 最重要： 学习率 α；(或者说 学习率r) 其次重要： β：动量衰减参数，常设置为 0.9； # from 动量梯度下降 各隐藏层神经元个数n；# hidden units mini-batch 的大小； 再次重要： β1，β2，ϵ：常设为 0.9、0.999、10−810−8； # fromAdam优化算法 神经网络层数L; # layers decay_rate：学习衰减率； 搜索方法：随机搜索法...原创 2020-09-15 18:11:08 · 1007 阅读 · 1 评论 -
2.2 优化算法（MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优）
MINI-BATCH实际训练中，数据集过于庞大，需要拆分成一个个小的子训练集。mini-batch梯度下降：选用子训练集进行梯度下降；batch梯度下降：选用整个数据集进行梯度下降；mini-batch 的大小为 m（数据集大小）；随机梯度下降：选用一个样本当做一个子训练集进行梯度下降；mini-batch 的大小为 1；epoch：对整个训练集进行了一次梯度下降如何为MINI-BATCH选择合理的大小两个极端例子，对比MINI-BATCH：训练神经网络的目..原创 2020-09-05 09:26:43 · 1359 阅读 · 0 评论 -
2.1 实战优化基础（划分数据集、欠拟合/过拟合/解决方案、L2正则化、dropout、数据增强、输入特征归一化、梯度消失/梯度爆炸、梯度检验）
如何划分数据集训练数据集、验证数据集、测试数据集小规模数据：7/3、6/2/2大规模数据：98/1/1、99.5/0.25/0.25训练一>验证->调整超参数一>训练一>验证->调整超参数……直到结果满意。数据的来源、质量、分部 最好统一有的图片来自专业用户的高清精美拍摄，有的图片来自手机用户的模糊随意拍摄，训练的时候，最好分部一致。偏差/方差、欠拟合/过拟合拟合度：模型 与 训练数据 的匹配程度过拟合（高方差）：模型太匹配训.原创 2020-08-15 19:34:41 · 990 阅读 · 0 评论 -
1.4 深度神经网络（前向反向传播通用公式、维度、参数/超参数、监督/无监督学习）
为什么需要深度神经网络深度不是层次多，而是神经元的个数多L = 4（层数，输入层不算）n[1] = 3 （第一层有3个神经元）层次性这样的层次性，使得迁移学习（用识别人脸的神经网络，改变后面几层，去识别猴子）成了可能。如何计算深度神经网络前向传播反向传播回顾浅层神经网络：深度神经网络：核对矩阵的维度理解矩阵乘法，就会好很多--训练m个样本时的维度参数和超参数参数：w、b...原创 2020-08-11 19:24:28 · 435 阅读 · 0 评论 -
1.3 浅层神经网络（前向/反向传播的计算、不同激活函数、随机初始化参数）
浅层神经网络原创 2020-08-09 11:54:29 · 1118 阅读 · 0 评论 -
1.2 单层神经网络【猫猫识别，前向传播(逻辑回归)to预测结果，反向传播(梯度下降)to优化w、b向量，使成本J最小 == 识别准确】
图片如何输入到神经网络1张图片：原本是 64 * 64 * 3的 rgb数据，拉成一个12288 * 1的列向量，代表一个图片，列向量每一个元素都是一个特征。m张图片：就是m个列向量，形成一个 12288 * m 矩阵，每一列都是一张图片。神经网络如何进行预测答：z = dot (w, x) + b ---w应该是w的转置 ： wT例子1：去外面玩吗？结果 = （天气权重 * 天气情况） + （身体状态权重 * 身体状态情况） + （心情权重 *...原创 2020-07-20 18:04:16 · 420 阅读 · 0 评论