深度学习理论学习_01

        2018年6月，笔者刚刚踏入深度学习的大门，看着网上茫茫多的资源和讲解茫然无措。好在找到了一本比较好的“新手教程”——《白话深度学习与TensorFlow》，配图和基础知识的讲解比较详细，适合我这种该领域的入门小白，于是将本书中的部分概念结合自己的学习体会，略作记录。

第一章 机器学习是什么

        和人类的学习目的类似，我们让机器学习的目的，最终都是让它独立或至少半独立地完成相对复杂或者高要求的工作，比如数据识别、分拣、归类等这种有技巧的重复性劳动，正是机器学习的本质性目的。

        此处摘录书中一个垃圾邮件分拣的过程：（有监督学习案例）

        ① 给出分类器大量的垃圾邮件 —> 训练样本（training sample）

        ② 分类器对这些样本的特征进行统计和归纳 —> 训练（traning）

        ③ 给分类器一些普通邮件和垃圾邮件，测试其总结的规律正确与否 —> 验证（validation）分类器总结出的规律的泛化性（generalization）

        ④ 使用一定量的普通邮件和垃圾邮件测试其识别能力的准确度 —> 测试（testing）

1. 聚类

        聚类（clustering）是一种典型的无监督学习，是把物理对象或抽象对象的集合分组为由彼此类似的对象组成的多个类的分析过程。

        人类天生具备总结和归纳的能力，能够把认知的相似事物放到一起作为一类事物，他们之间可以有彼此的不同，但是有一个我们心里的“限度”，只要在这个限度内，特征稍有区别并无大碍，他们还是这一类事物。

        例如小时候看到图片上的猴子，我们就认识了，这是一只猴子；看到图片上的汽车，我们就认识了，这是一辆汽车。当我们上街或者去动物园的时候，猴子也不是画上的猴子，汽车也不是画上的汽车，五花八门各有差异，但我们依旧把它们当成一类事物去认知的。

        比较常用的聚类算法有K-Means、DBSCAN等几种，基本思路都是利用每个向量之间的“距离”——空间中的欧氏距离或者曼哈顿距离，从远近距离是否从属于同一类别。

2. 回归

        回归是一种解题方法，或者说“学习”方法，也是机器学习中比较重要的内容。回归分析简单说就是“由果索因”的过程，是一种归纳的思想——从大量事实所呈现的样态，推断出其中所蕴含的关系。

2.1 线性回归

        在观察和归纳样本的过程中认为向量和最终的函数值呈现线性的关系，而后将其设计为 y=f(x)=wx+b ， 这里的w和x分别为1*n和n*1的矩阵。

        当已知一些x->y映射结果的时候，所需要的就是求 最合适 的矩阵w和偏置b （这里强调最合适而不是精确值的意思，是指实际中很难有能让所有x->y映射绝对线性的参数）

        也就是说，w和b所需要满足的，是让 由f(x)映射得到的y 与 真实观测的y 尽可能地相近。用公式表达为：

 

        一旦得到一个误差足够小的w和b，并能够在验证数据集上满足需求的精度后就可以了。

2.2 非线性回归

        非线性回顾中，在机器学习领域应用最多的是逻辑回归，其表达式为

        在这种模型中观察者假设的前提是y只有两种值：一种是1，一种是0。

3. 分类

        分类是机器学习中使用的最多的一大类算法，一个分类器模型在它诞生（初始化）的时候其实是不具备分类的功能的，只有通过给予大量含有类别的训练数据，让它自己进行充分的总结和归纳，才能具备这种能力。

        我们在编写代码教会分类器怎么做学习的时候，其实是在教它如何建立一种输入到输出的映射逻辑，以及让它自己调整这种逻辑关系，使得逻辑更为合理。而合理与否的判断也非常明确，那就是召回率和精确率两个指标（召回率指的是检索出的相关样本和样本待测对象库所有的相关样本的比率，衡量的是分类器的查重率；精确率是检索出的相关样本数和检索出的样本总数的比率，衡量的是分类器的查准率）

        分类的训练过程和回归的训练过程一样，都是极为套路化的程序。

        第一，输入样本和分类标签；

        第二，建立映射假说的某个y=f(x)的模型；

        第三，求解出全局的损失函数Loss和待定系数w和映射关系，Loss=g(w)；

        第四，通过迭代优化逐步降低Loss，最终找到一个w能使召回率和精确率满足当前场景需要，尤其指在验证数据集上的表现。

        听起来分类器的工作过程非常简单，但是其实人的各种智能行为也类似一种精妙的分类器。

4. 一些应用

        目前机器学习的应用方面，有例如垃圾邮件的分拣，新闻的内容分类，摄像头对车牌号的识别，手写识别等内容，都是早些年应用比较成熟的领域，利用机器学习代替一些体力劳动。

        而深度学习的应用，例如利用神经网络进行图片的风格处理，语音识别以及视频中物体的检出也会比较热门并逐渐成熟的领域。在学术领域，也有一类新兴的基于深度学习神经网络的研究领域，叫做“对抗学习”，特点是可以进行复杂内容的生成，而不仅仅是一个标签。

5. 小结

        一言以蔽之，机器学习就是人类定义一定的计算机算法，让计算机根据输入的样本和一些人类的干预来总结并归纳其特征与特点，并用这些特征与特点与一定的学习目标形成映射，进而自动化地做出相应反应的过程（这个反应可能是作出相应的标记或判断，也可能是输出一段内容——图片、程序、文本、声音，而机器自己学到的内容我们可以描述为一个函数、一段程序、一组策略等相对复杂的关系描述）

        将机器学习作为研究对象而言，也有传统的机器学习和深度学习两个粗略的分类方式，其中比较大的区别就在于，传统机器学习通常是需要人提前先来做特征提取，把提取过的特征向量化后在丢给模型去训练，这里人要做相当的前置工作；深度学习通常可以采用End-to-End的学习方式，输入的内容只需要做很少的一些归一化（normalization）、白化（whitening）等处理就可以丢给模型去训练，通常不需要人来做特征提取的工作，可以交给整个深度学习的网络模型自动完成。

本文的大量内容摘录自高扬所著《白话深度学习与TensorFlow》，仅作为本人学习过程中的摘录和心得记录，更多细节请购买此书