深度学习（二）大数据智能

第一章：概述

1.1.2 连接主义、符号主义
1.1.4 逐层预训练
1.1.5深度学习用武之地
1.分类 Andrew Ng （Rain, et al.2009）
2.结构分类 实时翻译 邓力（socher,et al 2013）(socher,et al.2012)(Devlin,et al.2014) 
Skype translate介绍：http://www.msra.cn/zh-cn/research/speech-to-speech-timeline.aspx   
   软件下载：https://www.microsoft.com/en-us/translator/apps.aspx
3.回归
1.2.1 《计算机与人脑》（冯诺依曼）《理想国》《新工具》
1.5 hinton 2006 深度神经网络参数预训练
    Vincent et al. 2008 自动编码器 auto-encoder：
    逐层训练，最后微调（fine tuning），每层都尽量还原上一层的信息。
统计机器翻译中的IBM模型：用复杂模型的简化版本进行训练，并将简化版本参数作为复杂模型的初始值。
EM迭代方法严重依赖初始值。
1.6.1深度学习带来了什么
    1.强调了数据的抽象
    2.强调了特征的自动学习
    3.对连接主义的重现
1.6.2深度学习尚未做到什么
    1.缺少完善的理论
诡异的故事：你得到一个很好的的模型，然后发现了一个bug，修复bug以后发现效果明显不如有bug的模型。
哈哈哈，上帝之手在干涉啊！
1.7回顾
受限波兹曼机
www.cs.toronto.edu/~hinton/
ufldl.stanford.edu./wiki/index.php/UFLDL_Tutorial  
Andrew Ng写的关于deep learning的tutorial
deeplearning.net/tutorial bengio组的tutorial
deeplearning.net/deep-learning-research-groups-and-labs 列举了于深度学习相关的研究机构

第二章：知识图谱

2.4.1
    实体识别，实体消歧
    三元组实例
2.4.4知识表示
    TransE
    bordes,et al. 2013
    人类知识类型的探索 tenenbaum et al. 2011
2.6
    知识表示，knowledge representation: russell & norvig 2009 了解发展历程
    关系抽取：nauseates, et al. 2013)(nichel et al. 2015)了解相关技术

第三章：大数据系统–大数据背后的支撑技术

3.3.1虚拟化技术
    LXC Docker
    google file system(Ghemawat et al. 2003)   MapReduce(Dean & Ghemawat 2008) 
    Bigtable(Chang, et al. 2008) 
    YARN Yet Another Resource Negotiator
    HBase实现Bigtable论文提出的基于列的分布式存储
    Hadoop
    ZooKeeper编写分布式软件所需的常用工具

第四章：只能助手是如何炼成的

2011年IBM Watson 在《危险边缘》节目中击败人类，也算是里程碑的一刻吧。
跟google的AlphaGo击败李世乭的意义应该算差不多。
说明人工智能在某一方面已经有能力碾压人类了（后两句是自己yy的）
问答系统的主要组成：
问题理解：问题分类、关键词识别、相似问题扩展
           分类体系：平面分类、层次分类（UIUC分类体系、Moldovan分类方法）
知识检索：非结构化信息检索、结构化信息检索（百科知识）、推理
            模板匹配、词法，句法分析、
答案生成：候选答案定位、答案抽取、答案摘要（设计到搜索引擎检索到信息以后做摘要的部分，提取主要内容）

第五章：机器的只能摘要利器

主题模型

潜在语义分析（Latent Semantic Analysis LSA）
创新地引入予以维度，语义维度是文档集合上相同、相关信息的浓缩表示，将 文档->词汇 表示方法转变为 文档->语义->词汇
潜在语义索引（Latent Semantic Indexing LSI）:起源在检索领域。用矩阵 $A_{nm}$ 表示，语料库n个文档，m个词.接下来做SVD分解$A=TSD^T$,一般去最大的K个奇异值做分解。
pLSI：第一个概率主题模型，d->z->w,根据d->z为选择主题标签。z->w为选择词语。
LDA：Laten Dirichlet Allocation第一个正式的贝叶斯主题模型，（Blei,et al. 2003）
实现了pLSI的一个全贝叶斯视角的模型和解释
提出基于变分法的模型推导方法
第一次显示地提出topic model
将原始的pLSI中文档与文档、词与词之间的独立假设（Bag-of-word假设）、使用了可交换性进行解释
书上提到Dirichlet是Multinomial的共轭先验，所谓共轭先验指的就是后验的概率函数形式和先验的概率函数形式是一样的，使得数学推导及其方便，所以用了Dirichlet。
LDA容易引入更多的信息进行模型扩展。
好啦，本人本科数学没学好。这章的只看懂大概意思。悲伤，现在在恶补数学！
模型评估：
基于复杂度
基于高概率主题词的评判
其他任务效果简介评估
应用：短文本，情感文本（有一篇用深度学习做句子情感分析的牛津大学的，感觉也不错），关系文本，时序文本
最后是一个基于主题模型的新浪名人话题排行榜应用
Griffiths & Steyvers 2004,Gibbs采用需要了解一下，以及正则化才发现用处这么多

第六章 个性化推荐系统–如何了解电脑背后的TA

参差多态乃是幸福之本源—-罗素———–很有道理
1994年美国明尼苏达大学GroupLens研究组推出GroupLens系统（Resnick,1994）
首次提出基于协同过滤完成推荐任务的思想
为推荐问题建立一个形式化模型
推荐系统的输入：
用户、物品、评价
推荐系统的输出：
推荐列表（一般）
形式化：
太多种类
三大核心问题：
预测、推荐、解释
推荐算法的分类：
基于人口统计学的推荐，基于内容的推荐，基于协同过滤的推荐（用户，物品，矩阵分解），混合型推荐。（跟推荐系统 Francesco Ricci那本书写的6中有点区别啊，少了基于知识，基于社区）
推荐问题的冷启动还是重要问题
后面一部分讲了矩阵分解的方法《矩阵论》这门课可以的，或者天大有本书《应用数学基础》就讲了很多矩阵分解的方法！我讨厌这门课———–

—–气死人了，csdn markdown没有保存草稿！！！以下内容丢失了。可恶

第七章

主要还是人工标记。然后可以通过同现情况发现新词。word embedding。

第八章

随意看看就过了

后记

这里有很多组织或者会议、博客信息
ACL：aclweb.org 
nlpers.glogspot.com  博客了解学术动态
aclweb.org/aclwiki ACL自己维护的页面
中国中文信息学会 www.cipsc.org.cn    理事名单:www.cipsc.org.cn/lingdao.php
《中文信息学报》《计算机学报》《软件学报》
微博寻人系统:xunre.thuir.org
weibo.com/u/1657470871
weibo.com/mli65
memect.com