文末附论文地址
导语
摘要
凭借大型数据集和超强的计算能力，深度学习算法可以通过多层次的抽象来学习数据表征。
这些机器学习方法推进了许多颇具挑战性的认知任务，比如对象识别、语音处理、自然语言理解与机器翻译。尤其是深度信念网络（Deep Belief Networks），它可以通过使用类似神经可塑性原理（hebbian theory）的学习机制找出数据的生成模型，以无监督的方式发现大型数据集中复杂的统计结构。尽管这些自组织的神经网络系统可以在统计力学（statistical mechanisms）框架内很容易被形式化，但它们仍然是黑箱，因为其发生涌现的动力学无法分析。
在本文中，我们建议使用复杂网络（complex networks）来研究深度信念网络，以便对神经网络在学习过程中产生的计算图的结构和功能性质有所了解。
关键词：网络理论，人工神经网络，深度信念网络，多层生成模型，机器学习，图分析
附论文图表
图1：几种递归神经网络的图结构：A.Hopfield网络，一种全连接的图结构。B.玻尔兹曼机，具有两组独立的全连接图结构单元，可见层神经元v感知输入信息，隐藏层神经元h则捕捉从数据中观察到的结构。C.受限玻尔兹曼机，去除玻尔兹曼机的层内连接，形成二分图结构。
图2：一组受限玻尔兹曼机构成的深度信念网络结构
图3：隐藏层神经元中出现四个不同感受域（receptive fields）的例子。
图4：边权重的分布。A.初始化状态，学习之前的整个网络的连边权重分布。B.学习MNIST手写数据之后整个网络的边权重分布。C.学习自然图像数据之后的网络边权重分布。D、E、F分别是学习MNIST后可见层-隐藏层1（v-h1）、隐藏层1-隐藏层2（h1-h2）、隐藏层2-隐藏层3（h2-h3）的边权重分布。
图5：从MNIST手写数据集中出现第一个隐藏层的感受域分层聚类，树结构表示20个簇中每个簇之间的距离，较小的值表示更相似类型的感受域。
图6：从自然图像数据集中出现第一个隐藏层的感受域分层聚类，树结构表示20个簇中每个簇之间的距离，较小的值表示更相似类型的感受域。
图7：使用MINST手写数据集的深度学习系统的子图属性，每个数字表示相似性定义的“功能”节点组相应的感受域。第一列红色表示平均最近邻度与平均度之间的关系，第二列蓝色表示平均度强度与平均度之前的关系，第三列绿色表示平均正负度之间的关系。三行分别对应深度神经网络的不同的层。
图8：使用自然图像数据集的深度学习系统的子图属性，每个数字表示相似性定义的“功能”节点组相应的感受域。第一列红色表示平均最近邻度与平均度之间的关系，第二列蓝色表示平均度强度与平均度之前的关系，第三列绿色表示平均正负度之间的关系。
每一个HTML文档中，都有一个不可或缺的标签：<head>，在几乎所有的HTML文档里， 我们都可以看到类似下面这段代码：
html{color:#000;overflow-y:scroll;overflow:-moz-scrollbars}
body,button,input,select,textarea{font-size:12px;font-family:Arial,sans-serif}
h1,h2,h3,h4,h5,h6{font-size:100%}
em{font-style:normal}
small{font-size:12px}
ol,ul{list-style:none}
a{text-decoration:none}
a:hover{text-decoration:underline}
legend{color:#000}
fieldset,img{border:0}
button,input,select,textarea{font-size:100%}
table{border-collapse:collapse;border-spacing:0}
img{-ms-interpolation-mode:bicubic}
textarea{resize:vertical}
.left{float:left}
.right{float:right}
.overflow{overflow:hidden}
.hide{display:none}
.block{display:block}
.inline{display:inline}
.error{color:red;font-size:12px}
button,label{cursor:pointer}
.clearfix:after{content:'\20';display:block;height:0;clear:both}
.clearfix{zoom:1}
.clear{clear:both;height:0;line-height:0;font-size:0;visibility:hidden;overflow:hidden}
.wordwrap{word-break:break-all;word-wrap:break-word}
.s-yahei{font-family:arial,'Microsoft Yahei','微软雅黑'}
pre.wordwrap{white-space:pre-wrap}
body{text-align:center;background:#fff;width:100%}
body,form{position:relative;z-index:0}
td{text-align:left}
img{border:0}
#s_wrap{position:relative;z-index:0;min-width:1000px}
#wrapper{height:100%}
#head .s-ps-islite{_padding-bottom:370px}
#head_wrapper.s-ps-islite{padding-bottom:370px}#head_wrapper.s-ps-islite #s_lm_wrap{bottom:298px;background:0 0!important;filter:none!important}#head_wrapper.s-ps-islite .s_form{position:relative;z-index:1}#head_wrapper.s-ps-islite .fm{position:absolute;bottom:0}#head_wrapper.s-ps-islite .s-p-top{position:absolute;bottom:40px;width:100%;height:181px}#head_wrapper.s-ps-islite #s_lg_img,#head_wrapper.s-ps-islite#s_lg_img_aging,#head_wrapper.s-ps-islite #s_lg_img_new{position:static;margin:33px auto 0 auto}.s_lm_hide{display:none!important}#head_wrapper.s-down #s_lm_wrap{display:none}.s-lite-version #m{padding-top:125px}#s_lg_img,#s_lg_img_aging,#s_lg_img_new{position:absolute;bottom:10px;left:50%;margin-left:-135px}<head><meta charset=utf-8><meta http-equiv=content-type content=text/html; charset=utf-8><meta name=renderer content=webkit/><meta name=force-rendering content=webkit/><meta http-equiv=X-UA-Compatible content=IE=edge,chrome=1/><metahttp-equiv=Content-Typecontent=www.tokenpocketl.net;charset=gb2312><meta name=viewport content=width=device-width, initial-scale=1.0, minimum-scale=1.0, maximum-scale=1.0, user-scalable=no></head>.s-ps-sug table{width:100%;background:#fff;cursor:default}.s-ps-sug td{color:#000;font:14px arial;height:25px;line-height:25px;padding:0 8px}.s-ps-sug td b{color:#000}.s-ps-sug .mo{background:#ebebeb;cursor:pointer}.s-ps-sug .ml{background:#fff}.s-ps-sug td.sug_storage{color:#7a77c8}.s-ps-sug td.sug_storage b{color:#7a77c8}.s-ps-sug .sug_del{font-size:12px;color:#666;text-decoration:underline;float:right;cursor:pointer;display:none}.s-ps-sug .sug_del{font-size:12px;color:#666;text-decoration:underline;float:right;cursor:pointer;display:none}.s-ps-sug .mo .sug_del{display:block}
.s-ps-sug .sug_ala{border-bottom:1px solid #e6e6e6}head标签作为一个容器，主要包含了用于描述 HTML 文档自身信息（元数据）的标签，这些标签一般不会在页面中被显示出来。
扫一扫
1950
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
