浅读deep learning笔记（1）

1.介绍

 

计算机交互时遇到的问题：计算机与人类的一个最大区别就是，计算机可以完成困难复杂的计算工作，这对人类很难，而人类可以轻易完成抽象的工作，计算机很难实现。期待通过智能软件去自动控制日常劳动，理解讲话和图形，在医学上进行诊断，支持基本科学研究。核心挑战就是如何将抽象的信息传送给电脑。

本书的目的：本书旨在提供对于抽象问题的解决方法，这个方法使得计算机去学习以前的经验，从而理解运作机制，将每一块内容定格在概念的层次，用简单的概念集成复杂的概念。

深度学习概念：通过从样本库里收集信息，这种方法避免了操作人员去清楚地分辨电脑所需要的知识，使得电脑只需要去学习一些简单的模块就行。如果我们画一张图去显示这些模块，这个图就将包含着很多的层次结构，很深层。

Cyc：一个著名的知识库项目，是一个推理机，使用cycl语言的数据库。这些数据是由人员输入，是个复杂工程。人们致力于构建复杂的规则来描述世界。比如说，Cyc没有理解一个叫Fred的人在早上刮胡子。它的推理机检测到了这其中的不一致：它知道人是没有电动设备的，但是由于Fred正在拿一个电动剃须刀，它认为这个人的身体里含电子部分。因此当他在刮胡子时候它询问Fred是否是一个人。（由于硬编码带来的问题，硬编码可以根据数据库里的库存来进行指令执行）

机械学习：希望AI系统可以通过原始数据中提取模式，从而获取信息。机械学习使得计算机能够处理一些有关真实世界的知识及做出一些类似于主观的决定。

logistic regression：一个简单的机械学习算法叫做logistic regression，它可以决定是否采用剖腹产技术-通过采集医护人员给的数据，如是否有子宫把疤痕作为一个特征。算法学习病人特征与结果之间的联系，但是它不能够影响这些特征点是怎么被定义的。如果拿到的是MRI图片而非结果报告，它将无法做出有用的判断。——依赖于现实的表象特征即数据集而进行分析计算。难点在于如何智能化处理数据集。因此对于特征点的选择将会极大影响其性能。

声音识别：对说话者声道大小的估计来识别人的身份，如男人、女人、小孩。

车子识别：思路是分析是否有轮胎。难点：轮胎虽然为几何圆形，但是会出现如阴影照在车轮上，阳光落在金属板上，汽车的挡车板或前方有物体遮挡，无法识别轮胎。

naive Bayes：另一个简单算法为naive Bayes，可以将垃圾文件与合法文件分开。这些算法的性能很大程度上依赖于它们所得的数据的性能。

例子描述：假定需要通过画线分离在同一张图里两个类型的数据，左边需要使用直角坐标系来描述数据，这是不可能的。右边需要用极坐标，任务就变得简单了，用一根垂直线就行。解决方法-使用机械学习去发现从表征到输出的映射以及表征本身。这就是表征学习（represention learning).

表征学习represention learning:优点：性能优于硬编码设计时的性能。使得AI系统去快速适应新任务，最小化人员干预。表征学习可以在几分钟内发现一个简单任务的特征建立，或者是几个月内复杂任务的特征点建立。而为一个复杂的任务手动设定功能需要大量的时间精力，将会在整个研究过程中耗费时间。

自动编码器——表征学习：含有一个编码函数：将输入数据转换成不同的特征点；一个译码函数：将新的特征点转换为原始的形式。自动编码器用来训练编译码以及使得新表征体有不同的极佳的属性。不同的自动编码器会得到不同的特性。目标：分离待测数据的变化因素。factor仅指独立的影响源而并不复杂，它可能是抽象的，非实体的，但影响着可见的物体。factor可能随着时间、地点有着不同变化，如颜色、可见光、人数等，要求需要舍弃非必要因素。此时表征学习对于人帮助不大。

深度学习：引入其他更简单的表征来表示表征，解决表征学习的核心问题。

深度学习通过将所需的复杂映射分解为一系列嵌套的简单映射来解决这一难题。输入端在可见层，可以直接观察，容易分割；然后一系列的隐藏层从图像中提取抽象特征，通过像素，隐藏层可以分析出图像的边界，在第一个隐藏层给定时，第二个隐藏层可以通过第一层所描述的边缘界定条件继续界定，依此类推。

深度学习中并非所有的信息一定是编码后的输入量，该表示法还存储了输入状态变量信息。这种状态信息可以类似于传统计算机程序中的计数器或传统计算机程序中的指针，它与输入内容无关，但是帮助去组织进展。

衡量深度学习的两种方法：第一种是基于必须执行的顺序指令数量来进行评估。通过最长执行路径来描述如何在给定的计算模型下输出原输入量。第二种深度是指概念之间的图的深度关系，而非计算模型的深度。在这种情况下要计算每个概念的表示方法，这要比计算图的深度要难得多。这是因为系统可以根据较复杂的概念迭加成更加复杂的概念。

由于暂时无法明确分辨计算图深度与概率模型深度的关系，以及不同人选择的最小元素构成不同，对于一个架构的深度就没有一个规定的值。然而，普遍的认为是深度学习需要更多的函数或训练模型集成。