回归模型中的离散型特征编码方式-----Dummy Coding对比One-hot encoding

一、哑变量定义

哑变量（DummyVariable），也叫虚拟变量，引入哑变量的目的是，将不能够定量处理的变量量化，在线性回归分析中引入哑变量的目的是，可以考察定性因素对因变量的影响，它是人为虚设的变量，通常取值为0或1，来反映某个变量的不同属性。对于有n个分类属性的自变量，通常需要选取1个分类作为参照，因此可以产生n-1个哑变量。如职业、性别对收入的影响，战争、自然灾害对GDP的影响，季节对某些产品（如冷饮）销售的影响等等。这种“量化”通常是通过引入“哑变量”来完成的。根据这些因素的属性类型，构造只取“0”或“1”的人工变量，通常称为哑变量（dummyvariables），记为D。

举一个例子，假设变量“职业”的取值分别为：工人、农民、学生、企业职员、其他，5种选项，我们可以增加4个哑变量来代替“职业”这个变量，分别为D1（1=工人/0=非工人）、D2(1=农民/0=非农民)、D3（1=学生/0=非学生）、D4(1=企业职员/0=非企业职员)，最后一个选项“其他”的信息已经包含在这4个变量中了，所以不需要再增加一个D5（1=其他/0=非其他）了。这个过程就是引入哑变量的过程，其实在结合分析（ConjointAnalysis）中，就是利用哑变量来分析各个属性的效用值的。

此时，我们通常会将原始的多分类变量转化为哑变量，每个哑变量只代表某两个级别或若干个级别间的差异，通过构建回归模型，每一个哑变量都能得出一个估计的回归系数，从而使得回归的结果更易于解释，更具有实际意义。

补充：

一般的， n个分类需要设置n-1个哑变量 （为什么不是n个？请继续看）。

举个例子，有一个“年龄”变量，分为：青年，中年，老年三类，那么我们可以用两个哑变量来代替：

年龄	变量1	变量2
青年	1	0
中年	0	1
老年	0	0

变量1 = 1代表青年，0代表非青年

变量2 = 1代表中年，0代表非中年

 

变量1和变量2都等于0代表老年

 

所以用2个变量就可以表示3个类别。

 

二、什么情况下需要设置哑变量

1. 对于无序多分类变量，引入模型时需要转化为哑变量

举一个例子，如血型，一般分为A、B、O、AB四个类型，为无序多分类变量，通常情况下在录入数据的时候，为了使数据量化，我们常会将其赋值为1、2、3、4。

从数字的角度来看，赋值为1、2、3、4后，它们是具有从小到大一定的顺序关系的，而实际上，四种血型之间并没有这种大小关系存在，它们之间应该是相互平等独立的关系。如果按照1、2、3、4赋值并带入到回归模型中是不合理的，此时我们就需要将其转化为哑变量。

2. 对于有序多分类变量，引入模型时需要酌情考虑

例如疾病的严重程度，一般分为轻、中、重度，可认为是有序多分类变量，通常情况下我们也常会将其赋值为1、2、3（等距）或1、2、4（等比）等形式，通过由小到大的数字关系，来体现疾病严重程度之间一定的等级关系。

但需要注意的是，一旦赋值为上述等距或等比的数值形式，这在某种程度