关闭

机器学习岗位面试问题汇总 之 深度学习

标签: 面试机器学习深度学习
707人阅读 评论(0) 收藏 举报
分类:

自己结合网络内容总结,欢迎指正欢迎补充。

最新更新:20170624—版本2(增加22-28)

1.模式识别、机器学习、深度学习的区别与联系
模式识别:过去、程序/机器做智能的事、决策树等
机器学习:热点领域、给数据+学习数据
深度学习:前言领域、强调模型

2.早年神经网络被淘汰的原因
耗时、局部最优、竞争对手、over-fitting、参数

3.深度学习的实质 及其 与浅层学习的区别
深度学习实质:多隐层+海量数据——>学习有用特征—–>提高分类或预测准确性
区别:(1)DL强调模型深度 (2)DL突出特征学习的重要性:特征变换+非人工

4.神经网络的发展(背景之类的)
MP模型+sgn—->单层感知机(只能线性)+sgn— Minsky 低谷 —>多层感知机+BP+sigmoid—- (低谷) —>深度学习+pre-training+ReLU/sigmoid

5.DL解决过拟合的方法
数据扩容、dropout技术

6.介绍dropout技术
修改神经网络本身来避免过拟合、训练网络的一种trike。
步骤:repeat { 随机‘删除’+BP获权值}
为何会避免过拟合:训练多个“半数网络”,随着训练的进行,大部分正确,小部分错误(不影响)

7.推导BP算法
http://blog.csdn.net/hungryof/article/details/50436231

8.BP算法为什么不能适应于深度学习
BP为传统多层感知机的训练方法,<=5层
问题:(1)梯度越来越稀疏(梯度扩散<—-非凸目标函数) (2)局部最小 (3)一般,有标签
NOTE:解决其中局部最小值的方法:(1)多组不同随机参数,取最好参数 (2)启发式优化算法:模拟退火 或 遗传 (3)随机梯度下降

9.深度学习与传统神经网络之间的区别与联系
联系:分层结构
区别:训练机制(初始值)

10.介绍DNN(原理和应用)
DNN:深度神经网络,广义上包含CNN,DBN,RNN等
优点:层数多,抽象能力强,模拟更复杂模型
应用:图像处理、语音识别、文本分类。。。

11.什么是深度学习、深度学习的训练过程是什么
无监督预训练(Layerwise Pre-Training)+有监督微调(fine-tune)
过程:(1)自下而上非监督学习特征 (2)自顶向下有监督微调

12.深度学习常用方法
全连接DNN(相邻层相互连接、层内无连接):
AutoEncoder(尽可能还原输入)、Sparse Coding(在AE上加入L1规范)、RBM(解决概率问题)—–>特征探测器——>栈式叠加 贪心训练
RBM—->DBN
解决全连接DNN的全连接问题—–>CNN
解决全连接DNN的无法对时间序列上变化进行建模的问题—–>RNN—解决时间轴上的梯度消失问题——->LSTM

13.RBM用途
(1)编码、降维 (2)得到权重矩阵和偏移量,供BP网络初始化训练 (3)可作为生成模型使用 (4)可作为判别模型使用

14.介绍DBN
DBN是一个概率生成模型。
组成:多个RBM+BP网络
训练过程:(1)无监督训练每一层RBM网络、特征向量映射到不同特征空间、尽可能保留特征信息(贪心算法) (2)DBN最后一层设置为BP网络,有监督微调
RBM训练可以看作对一个深层BP网络的网络权值参数的初始化—->克服容易局部最优+训练时间长
优点:不用人工选取特征
缺点:(1)有标签样本集 (2)学习过程慢 (3)参数不当可能导致局部最优
公式推导:
http://blog.csdn.net/app_12062011/article/details/54313082

15.介绍CNN
重点:局部感受域、权值共享
组成:卷基层、子采样层(池化层)
训练过程:不同小随机数初始参数—->repeat{ 前向传播(特征提取层C层—->特征映射层S层) + 后向传播 }
广义上的优点:(1)识别位移、缩放及其他形式扭曲不变性的二维图形 (2)隐式从训练数据中学习特征 (3)同一特征映射面的神经元权值相同—–>课并行学习 (4)局部权值共享—->在语音识别、图像处理方面有优势、更接近实际生物神经网络、降低网络复杂性、避免特征提取和分类过程中的数据重建复杂度
较一般神经网络在图像处理方面的优点:(1)图像和网络拓扑更好吻合 (2)特征提取和模式分类同时进行,并同时在训练中产生 (3)权值共享—–>减少参数、结构简单、适应性更强
应用:语音分析、图像识别等
公式推导 之 inference:
http://blog.csdn.net/lu597203933/article/details/46575871
http://blog.csdn.net/zouxy09/article/details/9993371
公式推导 之 BP:
http://blog.csdn.net/walegahaha/article/details/51945421

16.CNN卷基层和pooling层的作用
卷积层:特征提取
子采样层/池化层:缩减输入数据的规模

17.CNN和DBN有什么区别
CNN是判别模型,DBN基于生成模型
CNN是局部连接,DBN是全连接

18.介绍RNN
概念:广义来说RNN是两种人工神经网络的总称:结构递归神经网络(Recursive Neural Network)和循环神经网络/时间递归神经网络(Recurrent Neural Network)。时间递归升降网络的神经元之间连接构成有向图,结构递归神经网络利用相似的神经网络结构递归构造更为复杂的网络结构,两者训练算法不同,但属于同一变体。
一般我们说的RNN是指时间递归神经网络
重点:同一个神经网络单元不停处理不同的输入值,而这些值是它自己产生的
缺点:长时间依赖问题,即时间距离较长时,会出现时间轴上的梯度消失现象,可以形象的理解为,比较容易忘事
应用:应为它老忘事,所以没有改进为LSTM的它并没有什么有价值的应用

19.介绍LSTM及其变体
是一种特殊的循环神经网络,具有能够学习的长期依赖能力
重点:cell
组成:Cell(state参数,用来记录),Input Gate, Output Gate, Forget Gate
训练过程:前向传播(Input Gate, Forget Gate, cell, output gate, cell output)+后向传播(cell output, output gates, states, cells, forget gates, input gates)
优点:能够解决长时间依赖问题
应用:自然语言处理、语音识别、手写识别等
推导:打印资料

20.深度学习的优化问题,及各种优化算法的区别
经典的:MBGD(小批量梯度算法)
改进梯度算法,使梯度更新更加灵活:Momentum,Nesterov
可以自适应学习率:Adagrad,Adadelta,RMSprop,Adam,Adamax,Nadam

21.深度学习在推荐系统上可能有怎样的发挥
推荐系统要解决:预测和推荐。深度学习可以用来做预测,(此处可以撤一点DL做预测的一般过程),YouTube已经开始使用了,他的推荐系统由2个神经网络组成,一个用来生成后选视频列表(协同过滤算法),另一个对输入的视频列表进行打分排名。

22.神经网络相比于LR、线性回归的优势
包含DNN
不包含DNN,即传统神经网络:特征提取抽象

23.梯度消失的原因
(1)sigmoid求导<=1/4
参考:http://blog.csdn.net/baidu_29782299/article/details/52742773
(2)BP?

24.DNN常用的激活函数有哪些,各有什么特点
(1)sigmoid:易饱和(梯度消失),非0均值 (2)tanh,改进了sigmoid的第二个缺点,即它是0均值的 (3)ReLU,收敛快(不容易饱和),求梯度简单(没有指数计算,只需要阈值就可以),有稀疏特性。缺点是神经元容易坏死。
参考:http://f.dataguru.cn/thread-712946-1-1.html

25.什么样的资料不适合用深度学习?
(1)数据量小 (2)没有局部相关性

26.什么是共线性,跟过拟合有何关联?
共线性:高度相关—>冗余——>过拟合
解决:排除相关、加入权重正则

27.CNN可应用与图像识别、语音识别、Alphago等,这些不相关问题的共性是什么?也就是说CNN为什么可以应用在这几个问题上?CNN又是通过什么手段抓住了这些共性?
共性:都存在局部与整体的关系(单词与句子,一步棋和整个棋局)。(我自己想的(1)可以用CNN,(2)CNN有优势)
CNN通过局部感知、权值共享、池化操作。越来越抽象。

28.CNN什么时候用local-conv?什么时候用全卷积(每一个点用同一个filter)?
当数据集的局部特征之间具有较强相关性的时候,适合用全卷积。在不同的区域有不同的特征分布时,适合用local-conv

参考
《统计学习方法》,李航
《神经网络与深度学习》,吴岸城
《机器学习》,周志华
《斯坦福大学2014机器学习课程笔记》,Andrew Ng主讲,黄海广整理笔记

0
0
查看评论

机器学习、大数据面试经验分享、答题思路

机器学习、大数据面试经验分享、答题思路
  • beautiful_face
  • beautiful_face
  • 2017-01-11 15:55
  • 922

面试机器学习、数据挖掘、大数据岗位时遇到的各种问题

平台研究类数据计算平台搭建,基础算法实现,当然,要求支持大样本量、高维度数据,所以可能还需要底层开发、并行计算、分布式计算等方面的知识; 算法研究类文本挖掘,如领域知识图谱构建、垃圾短信过滤等; 推荐,广告推荐、APP 推荐、题目推荐、新闻推荐等; 排序,搜索结果排序、广告排序等; 广告投放效...
  • u011437229
  • u011437229
  • 2016-11-16 16:19
  • 1565

深度学习岗位面试题

1: LSTM结构推导,为什么比RNN好? 答案:推导forget gate,input gate,cell state, hidden information等的变化;因为LSTM有进有出且当前的cell informaton是通过input gate控制之后叠加的,RNN是叠乘,因此LSTM可...
  • yang00322
  • yang00322
  • 2017-08-14 18:08
  • 826

机器学习岗位的面试准备——总结1

之前还想看完再自己总结,后来发现高估自己了,信息量太大,直接给参考链接: 1、如何准备机器学习工程师的面试 ? 内容过于丰富导致感觉自己就是个文盲,套用总结公式: 数据结构算法水题+常用机器学习算法推导+模型调优细节+业务认识 每一个都很重要,尤其是最后一个,最后给出算法工程师的特质,可以写在简...
  • sqiu_11
  • sqiu_11
  • 2017-07-04 21:16
  • 3477

机器学习岗位面试问题汇总 之 SVM

自己结合网络、书本内容总结,欢迎指正欢迎补充。更新日期:20170607—版本11.简述SVM 二分类模型、更严格优化条件—>更好分界线,低维—->高维,间隔最大的分割平面,不太容易过拟合(2个原因),多层感知机(sigmoid核),3种分类,2种求解方法2.SVM的主要特点 (1)...
  • u010496169
  • u010496169
  • 2017-06-24 21:59
  • 797

面试:机器学习--深度学习

一、概述        Artificial Intelligence,也就是人工智能,就像长生不老和星际漫游一样,是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进步,但是到目前为止,还没有一台电脑能产生“自我”的意...
  • u013713010
  • u013713010
  • 2015-04-06 20:21
  • 3108

【BAT机器学习面试题】前100题汇总及勘误(上)

来源:七月在线实验室ID:julyedulab  近期,七月团队整理了BAT机器学习面试1000题系列,侧重机器学习、深度学习。我们将通过这个系列索引绝大部分机器学习和深度学习的笔试面试题、知识点,它将是一个足够庞大的机器学习和深度学习面试库/知识库,通俗成体系且循序渐进。  今天将会发布【BAT机...
  • tkkzc3E6s4Ou4
  • tkkzc3E6s4Ou4
  • 2017-12-28 00:00
  • 364

面试笔试整理4:机器学习面试问题准备(进阶)

这部分主要是针对上面问题的一些更细节的补充,包括公式的推倒思路、模型的基本构成、细节问题的分析等等。 一、问题杂烩 1、PCA的第二主成分 第二个主成分时域第一成分方向正教的差异性次大方向。 2、什么时候用组合的学习模型 只有当各个模型之间没有相关性的时候组合起来是最好用的。但是一般来...
  • woaidapaopao
  • woaidapaopao
  • 2017-09-07 16:35
  • 511

一线互联网公司机器学习岗位面试经验

从9月18号开始投实习简历到10月21号,差不多一个月的时间,面了三个互联网公司,有研发岗和算法岗,有的拿到了internship, 也有的被惨虐;会有面试通过的惊喜,也有一轮游的不甘;对结果的无法控制和等待过程中的焦虑,更会有对自身的不自信,相信每个面试的人都经历过,但无论如何实习这件事算是过去...
  • u010111016
  • u010111016
  • 2016-10-21 19:26
  • 5251

大数据岗位的面试总结

转载自:大数据岗位的面试总结 本人住在有人间天堂之称的城市,6年多开发经验,最近2年主要在做大数据相关的开发,最近考虑换工作,基本也只考虑大数据相关岗位。目前新工作已经找好,但想分享一下最近面试的失败一些经历(成功的那些就不讲了),吐槽吐槽,跟广大吃瓜群众分享一下过程中的经历心得,我的语文体育...
  • SCGH_Fx
  • SCGH_Fx
  • 2017-05-03 15:36
  • 598