深度学习
问题回答
• 1、什么样的数据需要用深度学习?
答:深度学习适合大量数据,大量不单是说样本量很大(百万级,至少也需要万级),而且指单个样本的特征(维度)很大(至少要千级)。现阶段使用深度学习方法的问题普遍来说都是自然维度很大也就是原始维度很大,如图像中像素信息。同时深度学习一般使用在特征描述不容易的方面,如手写体识别。
• 2、深度学习深在哪?
答:深主要指神经网络的层数多,对应于现实意义应该是在空间上足够深和时间上足够深,空间上是指能够在不同程度上描述特征,并且能够描述局部和全局特征。时间上是指能够描述不同时间的影响,即在学习的过程中能够完成对自己(同层)特征的学习。
• 3、深度学习的层数选择和节点数选择
答:首先深度学习理论上层数越多,学习能力越强。因此层数主要受到输入数据维度的影响,一般初始几层相比较上一层节点数降低的快如是上一层的1/10,后面节点降低的慢,如为上一层的1/2。一般确定了每层节点数就确定了层数。(输入层为维度,最终输出层为类别数)(对于语音识别4层,图像识别20层以上)
• 4、深度学习需要什么样的硬件?训练需要多久?
答:小实验,如MATLAB中,60000张手写数字小图片28*28的,10000的测试,5分钟,pc机就可以了。沃森(智利问答机器人,百万级数据)由90台IBM服务器、360个计算机芯片驱动组成,是一个有10台普通冰箱那么大的计算机系统。它拥有15TB内存、2880个处理器、每秒可进行80万亿次运算(这是目前的情况)。这些服务器采用Linux操作系统。训练需要数天,也有说法说降低到了几小时
深度学习与神经网络
• 深度学习是指含有多层感知器的结构的神经网络,也就是含有多隐层的神经网络。
• 传统神经网络的有些问题很难解决:
1、初始权值对结果有很大影响,但是如何给合理的初始权值。也就是在训练之前需要输入(或随机生成)一定参数,如果参数不合理会使得训练结果不好
2、多层结构使用bp时,误差会随着层数增加,会使得梯度消失或者爆炸。即bp算法对于多层神经网络天然的bug。
3、局部最小,最终结果只能达到比较好,不能达到最好
4、维数灾难,需要学习的参数太多,无法计算
5、时间序列,传统方法无法反映时间维度
6、特征提取,传统方法需要无法自动提取特征,也就是规则、规律、定义。
注:后面具体算法直接使用上面这些专业名词,就不再解释了
算法分析
算法分析
算法分析
一些说明
• 优点中,主要分析对于单个算法的优缺点。其实,还应包括全部的在前面ppt提出的神经网络和深度学习总体的全部优点
• 除了计算量较大和可解释能力差,缺点现阶段还没有看到关于这方面的说明
• 深度学习很难说有独立的算法类别,一般都会混合使用,可以理解为对于具体工程,用来解决传统神经网络存在的问题的方法