评估三方数据时遇到的一些代码和模型上的问题

1、特征名称编码问题，特别是有中文的时候，容易遇到utf-8和unicode编码不能比较的问题

在目前python2的环境下，先对所有先运行var.encode(encoding)，若本来是unicode编码会报错，可以先判断

• 计算机内存中，统一使用Unicode编码，需要保存或者传输时，转换成UTF8编码
• 而 Python2 默认编码是 ASCII编码。然而，众所周知，在需要需要转换的场景，ASCII 都是没用的（128个字符，够什么吃）
• Python 3 默认编码变为 Unicode。这也就意味着，做所有需要转换的场合，都能正确并成功的转换。
• 当在python2环境中遇到该问题时，可以:

1. 所有 text string 都应该是 unicode 类型，而不是 str，如果你在操作 text，而类型却是 str，那就是在制造 bug。

2. 在需要转换的时候，显式转换。从字节解码成文本，用 var.decode(encoding)，从文本编码成字节，用 var.encode(encoding)。
3. 从外部读取数据时，默认它是字节，然后 decode 成需要的文本；同样的，当需要向外部发送文本时，encode 成字节再发送。

Python3中提供了encode()和decode()两种方法
encode的作用是是将某个unicode字符串按照一定的编码方式编码成对应的字节序列。
如str.encode('utf8')，表示将unicode编码的字符串str转换成utf8编码的字节序列。

decode是一个反过程，将一个字节序列按照一定的编码方式解码成unicode字符串
如str.decode('utf8')，表示将utf8编码的字符串str转换成unicode字符串。

2、对比某个特征源中某些特征失效的影响

在相同的测试集上，对比auc发现，去掉某些特征auc反而升高。

这说明训练模型时，特征选择没有做好，还是跳槽没有调好？