统计学习/机器学习常用小知识

统计学习的特点

关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科

统计学习的方法

• 机器学习一般包括监督学习、无监督学习、强化学习。有时候还包括半监督学习、主动学习。

机器学习的步骤

• 1.数据采集
• 2.数据预处理
• 3.特征工程
• 4.模型选择（模型训练和预测）
• 5.模型评价（效果评估）

统计学习的目的

用于对数据的预测与分析，特别是对位置新数据的预测与分析，对数据预测可以是计算机更加智能化

统计学习的应用领域

人工智能、模式识别、数据挖掘、自然语言处理、语音处理、计算机视觉、信息检索、生物信息等许多计算机应用领域中。

机器学习的主要任务

机器学习的主要任务便是聚焦于两个问题：分类和回归。

分类与回归的区别

分类和回归都是对输出做出预测的，并且都是监督学习。就是根据特诊，分析输入的内容。判断它的类别或者预测值。
主要区别

1. 输出不同

1.1分类问题是输出物体的所属类别，而回归问题输出的是物体的值。

比如天气预报：天气有晴、阴、雨三类，预测之后的天气情况，比如下周一会天晴，这就是分类；知道今天和之前几天的天气温度，来预测之后的天气温度，都能预测一个具体的温度值，这个就是回归问题。

1.2分类问题输出的值是离散的，回归问题输出的值是连续的

这个连续和离散不是纯数学意义上的连续与离散，很显然回归问题不可能测出连续数值，因为我们测得数值再接近也会存在数值域上的偏差，比如20°和19.999°之间存在无穷多个值，并且在实际生活中，测出小数点后三位后基本无意义。
如何理解连续与离散呢？
离散就是规定有限个数据类别，这些类别是离散的。连续就是理论上可以取某一范围的任意值，比如20°，这是我们测出来的，但是实际温度可能是无限趋于20°，也就是说回归并没有要求你的值必须是哪个类别。只要回归出一个值，在可控范围内就可以了。

1.3 分类问题输出是定性的，回归问题输出是定量的

定性的解释：确定某种东西的确切的组成有什么或者某种物质是什么，不需要测定物质的确切数值量
定量的解释：确定一种成分（某种物质）的确切的数值量，不需要鉴定物质是什么

2.目的不同

分类的目的是为了寻找决策边界，即分类算法得到的一个决策面，用于对数据集中的数据进行分类。
回归的目的是为了找到最优拟合，通过回归算法得到一个最优拟合线，这个线条可以最好的接近数据集中的各个点。

3.本质不同

所谓离散和连续的差别是分类与回归的不同表象，而非本质，本质在于损失函数的形式不同。
原文：https://www.zhihu.com/question/21329754/answer/204957456

4.结果不同

分类的结果没有逼近，对就是对，错就是错，最终只有一个结果
回归是一种对真实值的逼近预测，值不确定，当预测值与真实值相近时，误差较小时认为这就是一个好的回归。

3.场景不同

3.1分类问题

分类问题应用非常广泛，通常建立在回归之上，分类的最后一层通常使用softmax函数进行判断其属性。分类并没有逼近的概念，最终正确结果只有一个，错误就是错误的，不会有相近的概念。
比如图片是一只猫还是一只狗，判断天晴还是下雨，零件是否合格

3.2回归应用

回归问题通常是用来预测一个值，回归分析用在神经网络上，其最上层不需要加上softmax函数的，而是直接对前一层累加即可。一个比较常见的回归算法就是线性回归算法（LR）
比如房价预测、股票的成交额。未来的天气情况等。