![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
北木.
交流分享,共同成长
展开
-
常见的深度学习面试题及解答(三)
往期回顾 常见的深度学习面试题及解答(一)常见的深度学习面试题及解答(二) 1. 怎样提升网络的泛化能力? 从数据上提升性能:收集更多的数据,对数据做缩放和变换,特征组合。从算法调优上提升性能:用可靠的模型诊断工具对模型进行诊断,权重的初始化,用小的随机数初始化权重。对学习率进行调节,尝试选择合适的激活函数,调整网络的拓扑结构,调节batch和epoch的大小,添加正则化的方法,尝试使用其它的优化方法,使用早停法。 2. 什么是 seq2seq model? seq2seq属于e.原创 2020-07-14 21:53:19 · 485 阅读 · 0 评论 -
什么是fine-tuning?
什么是fine-tuning?在实践中,由于数据集不够大,很少有人从头开始训练网络。常见的做法是使用预训练的网络(例如在ImageNet上训练的分类1000类的网络)来重新fine-tuning(也叫微调),或者当做特征提取器。 以下是常见的两类迁移学习场景:1 卷积网络当做特征提取器。使用在ImageNet上预训练的网络,去掉最后的全连接层,剩余部分当做特征提取器(例如AlexNet在最后分类器前,是4096维的特征向量)。这样提取的特征叫做CNN codes。得到这样的特征后,可以使用转载 2020-07-13 14:46:01 · 381 阅读 · 0 评论 -
深度学习之多目标检测与跟踪
方法:1、实时性,每帧视频10ms2、方法,首先深度学习检测到目标,然后再写跟踪算法http://news.eeworld.com.cn/mp/QbitAI/a59568.jspx官网:https://pjreddie.com/darknet/yolo/支持用自己的数据训练模型。...原创 2020-07-03 17:31:16 · 2944 阅读 · 0 评论 -
深度学习与神经网络系列之 --- 将别人训练好的模型(model)用到自己的数据上
使用别人训练好的参数的一个前提 那就是必须和别人用同一个network,因为参数是根据network而来的。当然,最后一层,我们是可以修改的,因为我们的数据可能并没有1000类,而只有几类。我们把最后一层的输出类别改一下,然后把层的名称改一下就可以了。最后用别人的参数、修改后的network和我们自己的数据,再进行训练,使得参数适应我们的数据,这样一个过程,通常称之为微调(fine tuning). 参考链接【神经网络与深度学习】如何将别人训练好的model用到自己的数据上...原创 2020-05-16 09:08:40 · 11590 阅读 · 0 评论 -
常见的深度学习面试题及解答(二)
往期回顾 深度学习100问常见的深度学习面试题及解答(一) 1. 在深度学习中,通常会finetuning (微调) 已有的成熟模型,再基于新数据,修改最后几层神经网络权值,为什么? Deep Learning或者说CNN在图像识别这一领域取得了巨大的进步,那么自然我们就想将CNN应用到我们自己的数据集上,但这时通常就会面临一个问题:通常我们的dataset都不会特别大,一般不会超...原创 2020-04-12 11:56:34 · 721 阅读 · 0 评论 -
深度学习100问
目录● BatchNormalization的作用● 梯度消失● 循环神经网络,为什么好?● 什么是Group Convolution● 什么是RNN● 训练过程中,若一个模型不收敛,那么是否说明这个模型无效?导致模型不收敛的原因有哪些?● 图像处理中锐化和平滑的操作● VGG使用3...转载 2020-04-12 11:49:10 · 1284 阅读 · 0 评论 -
深度学习算法简要综述(上)
声明 来源于:算法猿的成长 简介 自从 2012 年在一个图像识别比赛上,一个神经网络的性能超过人类后,深度学习就火了起来,但当时只有少数人会预料到接下来会发生什么。在过去的十年里,有越来越多的算法面世,也有越来越多的公司开始将这些算法应用到他们的日常业务中。本文将尝试介绍这些年里,所有重要的深度学习算法和网络结构,包括在计算机视觉和自然语言处理相关的应用中采用的算法。它们之中有的应用...原创 2020-04-06 22:06:55 · 747 阅读 · 0 评论 -
常见的深度学习面试题及解答(一)
1. 在训练过程中,若一个模型不收敛,那么是否说明这个模型无效?导致模型不收敛的原因有哪些? 不能说明这个模型就是无效的,造成模型不收敛的原因有很多,可能经过调整,模型效果很好。原因:数据分类的标注不准确,样本的信息量太大导致模型不足以fit整个样本空间。学习率设置的太大容易产生震荡,太小会导致不收敛。可能复杂的分类任务用了简单的模型。数据没有进行归一化的操作。https:...原创 2020-03-28 12:22:11 · 2095 阅读 · 0 评论 -
深度学习之循环神经网络(RNN) — 理论与代码相结合
RNN基本概念如何才能让神经网络记住整个句子来正确预测下一个单词呢?这正是RNN发挥作用的时候。RNN的输出不仅是基于当前的输入,还会基于先前的隐态。此时可能会好奇为什么不能根据当前输入和之前的输入来预测输出,而必须是当前的输入和先前的隐态。这是因为先前的输入只保存了前一个单词的信息,而先前的隐态捕获了整个句子的信息,即先前的隐态捕获了上下文。因此,基于当前的输入和先前的隐态能够预测输出,而不...原创 2020-03-20 17:00:18 · 664 阅读 · 1 评论 -
TensorFlow中的神经网络
利用Tensorflow来构建一个基本的神经网络,用于预测手写体数字,采用MNIST数据集。首先导入Tensorflow 并从 tensorflow.examples.tutorials.mnist加载数据集:import warningswarnings.filterwarnings('ignore')import tensorflow as tffrom tensorflow.exa...原创 2020-03-18 20:06:21 · 1071 阅读 · 0 评论 -
面试之深度学习中的过拟合问题
往期回顾 神经网络之过拟合与欠拟合过拟合 (Overfitting)及其解决方法在做项目或者参加比赛的时候,经常会遇到过拟合的问题。结合你的实际经历,讲讲你是怎么理解过拟合以及怎么解决过拟合问题的? 产生过拟合的原因 样本方面的原因。样本数量太少或者抽出的样本数据不能有效足够代表业务逻辑或业务场景。样本里的噪声数据干扰过大,使得模型过分记住了噪声特征,反而忽略了真实的输入输出间的...原创 2020-03-13 18:25:02 · 592 阅读 · 0 评论 -
面试之深度学习中的梯度下降和梯度爆炸
深度学习训练中梯度消失的原因有哪些?有哪些解决方法?在做项目或者参加比赛的时候,经常会遇到过拟合的问题。结合你的实际经历,讲讲你是怎么理解过拟合以及怎么解决过拟合问题的?请简述一个你参与过的计算机视觉/语音/自然语言处理/机器学习项目或其他类型重要项目(包括项目的应用场景,行业现状及主流解决方案,你的解决方案),描述你在完成项目的过程中遇到的技术问题,以及你的解决思路与方法。自然语言项目应...原创 2020-03-13 15:42:31 · 614 阅读 · 0 评论 -
神经网络之过拟合与欠拟合
快捷键撤销:Ctrl/Command + Z重做:Ctrl/Command + Y加粗:Ctrl/Command + B斜体:Ctrl/Command + I标题:Ctrl/Command + Shift + H无序列表:Ctrl/Command + Shift + U有序列表:Ctrl/Command + Shift + O检查列表:Ctrl/Command + Shift + ...原创 2020-03-03 17:46:24 · 6320 阅读 · 0 评论 -
基于传统神经网络,使用Keras训练自己的数据集
以图像多分类为例 1. 准备数据集:以图像分类为例,准备了五种花的图片数据(每种各600张图片),依次存放在'./flower_photos/daisy'、 './flower_photos/dandelion'、'./flower_photos/roses'、'./flower_photos/sunflowers'、'./flower_photos/tulips' 文件夹中。2. 训...原创 2020-02-29 23:04:28 · 830 阅读 · 3 评论 -
深度学习面试题14:Dropout(随机失活)
目录 卷积层的dropout 全连接层的dropout Dropout的反向传播 Dropout的反向传播举例 参考资料在训练过程中,Dropout会让输出中的每个值以概率keep_prob变为原来的1/keep_prob倍,以概率1-keep_prob变为0。也就是在每一轮的训练中让一些神经元随机失活,从而让每一个神经元都有机会得到更高效的学习,会让网络更加健壮,减小过...转载 2020-02-29 21:40:19 · 1122 阅读 · 0 评论 -
《Python深度学习》知识点
在定义深度学习模型时,选择一个适中的学习率和一个非常小的冲量。选择5%左右的随机失活率来加强泛化。在开发自己的DNN模型时要注意:1.随机失活的比例越大,训练中引入的噪声越多,这会降低学习的速度。2.随机失活在非常大的DNN模型上的效果最佳。 共适应性: 神经网络的威力大部分是因为每个神经元都是独立的特征检测器。然而,在实际中,两个或多个神经元开始重复地检测相同的特征是很常见 的。这...原创 2020-01-08 09:55:31 · 652 阅读 · 0 评论 -
深度学习与神经网络系列之 --- 神经网络模型的保存
Python 提供了许多方法来保存神经网络模型,以下是使用 pickle 来完成这项任务:import picklepickle.dump(fit, open('Boston_fit.pkl', 'wb'))其中,fit 表示训练好的神经网络模型以下是打开之前保存的网络,以下是打开之前保存为 Boston_fit.pkl(fit) 的网络,并存储在Python对象的 model 中:m...原创 2020-01-03 16:18:15 · 4435 阅读 · 0 评论 -
Tensorflow冻结网络模型
What 神经网络模型中存在大量的权重参数,这些参数在不断训练的过程中通过反向传播等算法来减小梯度,优化网络的性能。同时这些参数是不断变化的,而冻结神经网络是将这些变量转化为常量。 Why TensorFlow冻结网络模型为单一文件,以供C++、移动端与嵌入式设备在推理阶段使用。...原创 2020-01-03 16:03:18 · 983 阅读 · 0 评论 -
深度学习--神经元
深度学习的深体现在网络的深度上,其实可以把每一个神经元想象成一个函数f(wx) 就好了,也就是给定一个带权重的输入x,输出一个y值,并且这个函数往往是一个非常简单的非线性函数...原创 2019-08-21 21:33:27 · 768 阅读 · 0 评论 -
深度学习
深度学习的基本思想:假设有系统S,它有n层(S1,…,Sn),输入为I,输出为O,可形象的表示为:I=>S1=>S2=>… =>Sn=>O。为了使输出O尽可能的接近输入I,可以通过调整系统中的参数,这样就可以得到输入I的一系列层次特征S1,S2,…,Sn。对于堆叠的多个层,其中一层的输出作为其下一层的输入,以实现对输入数据的分级表达,这就是深度学习的基本思想。深度...原创 2019-08-11 16:14:16 · 489 阅读 · 0 评论 -
深度学习之神经网络章节知识点
神经网络和深度学习目前提供了针对图像识别,语音识别和自然语言处理领域诸多问题的最佳解决方案。传统的编程方法中,我们告诉计算机如何去做。而神经网络不需要我们告诉计算机如何处理问题,而是通过从观测数据中学习,计算出他自己的解决方案。问题: 如何训练神经网络使得它比传统的方法更好?答:深度学习是为了训练神经网络,让他(计算机)自己能够从数据中学习。神经网络使用样本自动地推断规则,通过增加训练样本...原创 2019-08-11 16:11:57 · 680 阅读 · 0 评论