吃瓜教程TASK02

3.1线性回归

正交回归≠线性回归

什么时候用正交回归？
     正交回归适用于处理不同特征属性之间相互影响的数据，如生物基因表达过程中不同基因会共同影响生物过程；再如通过音乐歌曲特征预测流行程度，音乐的长度、节奏、情感等特征相互之间也会互相影响，因此使用正交回归，将相关特征转化为正交的主成分，再基于此建立模型预测。
什么时候用线性回归（均方误差）？
     线性回归适用于处理特征之间较少相关性的情况。如通过房屋特征预测售价，房子的面积、位置、楼高之间基本可以认为是独立影响房价的，房子的面积与其所在的位置、楼高等特征之间无明显关联，此时使用线性回归。

无序的多值离散特征

【肤色】（黄：（1,0,0），黑（0,1,0），白（0,0,1））
     那么用x1，x2和x3共同表示肤色，黄种人x1=1，x2=0，x3=0；黑种人x2=1，其余为0；白种人x3=1，其余为0。

符号arg min

arg 变元/自变量，即argument简写，因此arg min（yi-wxi-b）² 表示使前述式子达到最小值的w和b的值（yi，xi为样本已知数据，w和b为参数）

最优化中的凸函数

在最优化中，凸函数的定义与高数中定义相反，y=x²在高数中是凹函数，但在最优化中是凸函数

3.2对数几率回归

对率函数优点:

①直接对分类可能性进行建模,无需事先假设数据分布,避免假设分布不准确带来误差
②可得到近似概率预测,对利用概率决策的任务很有用
③对率函数是任意阶可导的,有很好的数学性质,可用于很多数值优化算法直接求取最优解.

3.3线性判别分析LDA

使同类样例的投影尽可能接近,异类样例的投影点尽可能远离的那条直线。即同类样本的方差尽可能小，异类样本的中心尽可能远。

3.4 多分类学习

一对一（OvO）

使用N(N-1)/2个分类器将N个类别的数据两两配对，，根据分类器投票结果进行分类判断

一对其余（OvR）

使用N个分类器，每次将一个类作为样例，其余为反例，同样通过投票产生结果。

多对多（MvM）

纠错输出码（ECOC）

海明距离

两个合法代码对应位上编码不同的位数称为码距，又称海明距离。举例如下：10101和00110从第一位开始依次有第一位、第四、第五位不同，则海明距离为3

欧式距离

以10101和00110为例,欧式距离为

拓展材料：
张宇考研数学——《概率论与数理统计》（基础班即可）
陈希孺教材——《概率论与数理统计》
靳志辉——《正态分布的前世今生》（正态分布的来由与极大似然估计、最小二乘法等）
参考视频： https://b23.tv/I15JsiK