第一章:概述
1.1.2 连接主义、符号主义
1.1.4 逐层预训练
1.1.5深度学习用武之地
1.分类 Andrew Ng (Rain, et al.2009)
2.结构分类 实时翻译 邓力(socher,et al 2013)(socher,et al.2012)(Devlin,et al.2014)
Skype translate介绍:http://www.msra.cn/zh-cn/research/speech-to-speech-timeline.aspx
软件下载:https://www.microsoft.com/en-us/translator/apps.aspx
3.回归
1.2.1 《计算机与人脑》(冯诺依曼)《理想国》《新工具》
1.5 hinton 2006 深度神经网络参数预训练
Vincent et al. 2008 自动编码器 auto-encoder:逐层训练,最后微调(fine tuning),每层都尽量还原上一层的信息。
统计机器翻译中的IBM模型:用复杂模型的简化版本进行训练,并将简化版本参数作为复杂模型的初始值。EM迭代方法严重依赖初始值。
1.6.1深度学习带来了什么
1.强调了数据的抽象
2.强调了特征的自动学习
3.对连接主义的重现
1.6.2深度学习尚未做到什么
1.缺少完善的理论
诡异的故事:你得到一个很好的的模型,然后发现了一个bug,修复bug以后发现效果明显不如有bug的模型。哈哈哈,上帝之手在干涉啊!
1.7回顾
受限波兹曼机
www.cs.toronto.edu/~hinton/
ufldl.stanford.edu./wiki/index.php/UFLDL_Tutorial Andrew Ng写的关于deep learning的tutorial
deeplearning.net/tutorial bengio组的tutorial
deeplearning.net/deep-learning-research-groups-and-labs 列举了于深度学习相关的研究机构
第二章:知识图谱
2.4.1
实体识别,实体消歧
三元组实例
2.4.4知识表示
TransE
bordes,et al. 2013
人类知识类型的探索 tenenbaum et al. 2011
2.6
知识表示,knowledge representation: russell & norvig 2009 了解发展历程
关系抽取:nauseates, et al. 2013)(nichel et al. 2015)了解相关技术
3.3.1虚拟化技术
LXC Docker
google file system(Ghemawat et al. 2003) MapReduce(Dean & Ghemawat 2008)
Bigtable(Chang, et al. 2008)
YARN Yet Another Resource Negotiator
HBase实现Bigtable论文提出的基于列的分布式存储
Hadoop
ZooKeeper编写分布式软件所需的常用工具