山东大学软件学院2024年深度学习期末考试

考试时间：2024/6/17

老师不画范围，但会上复习课，整体过一遍学的内容，考试不是很难

复习的时候好好把两本书看了，书上内容都挺好理解的，写的真的很好

一、名词解释

分布式表示

超参数

语言模型

attention机制

困惑度

梯度确认

截断的BPTT

共现矩阵

二、简答

1、什么是训练数据、测试数据、验证数据，为什么要区分训练数据和验证数据

2、为什么Dropout能够抑制过拟合

3、神经网络的激活函数为什么要使用非线性函数

4、神经网络的学习步骤

5、Batch normalization的优点

6、word2vec计算出现瓶颈的地方，并写出改进措施

三、综合

1、（1）用全连接层处理一张256*256的图片（RGB），只有一个隐藏层，隐藏层有10个神经元，输出层有1000个神经元，计算参数数量，写出计算过程

（2）至少写出卷积神经网络的三个特点

（3）SGD的缺陷的根本原因，列举出其他几个方式

2、（1）画出LSTM的计算图

（2）LSTM的三个门的作用

（3）简述改进RNNLM的几种措施