lesson1_线性回归

Q1：如何将类别型变量引入线性回归，提出至少1种方案？

ANS: (1)序号编码（Ordinal Encoding）

序号编码通常用于处理类别间具有大小关系的数据。例如成绩，可以分为低、中、高三档，并且存在“高>中>低”的排序关系。序号编码会按照大小关系对类别特征赋予一个数值ID，例如高中低依次表示为3、2、1，转换后依然保留了大小关系。

（2）独热编码（One-hot Encoding）

独热编码通常用于处理类别间不具有大小关系的特征。例如血型，一共有4个取值（A、B、AB、O），独热编码会把血型变成一个4维稀疏矩阵向量，A型血表示为（1,0,0,0），B型血表示为（0,1,0,0），AB型血（0,0,1,0），O型血（0,0,0,1）

对于类别取值较多使用独热编码需注意的问题：（1）使用稀疏向量来节省空间。（2）配合特征选择来降低维度。

（3）二进制编码（Binary Encoding）

二进制编码主要分为两步，先用序号编码给每个类别分别赋予一个类别ID，然后将类别ID对应的二进制编码作为结果。以A、B、AB、O血型为例，其类别ID依次表示为1、2、3、4，则其对应的二进制编码表示为001、010、011、100.可以看出二进制

编码本质是利用二进制对ID进行哈希映射，最终得到0/1特征向量，且维数少于独热编码，节省了存储空间。

 

Q2：自变量进行标准化会对模型带来哪些影响（尝试从梯度、回归系数等角度）

ANS：对数值类型的特征做归一化可以将所有的特征都统一到一个大致相同的数值区间内，最常用的方法有

（1）线性函数归一化：对原始数据进行线性变换，使结果映射到[0,1]的范围，实现对原始数据的等比缩放。公式为：

（2）零均值归一化：它会将原始数据映射到均值为0、标准差为1的分布上。假设原始特征的均值为、标准差为，公式为：

若不对数值型特征进行归一化，以两个参数变量为例，在随机梯度下降过程中，相同的学习速率下，取值范围较大的参数更新速度会大于取值范围较小的参数，需要较多迭代才能找到最优解。如果将参数归一到相同的数值区间后，优化目标的等值图将变成圆形，

两个参数的更新速度变得更为一致，容易更快地通过梯度下降找到最优解。