第八周周报

第八周周报

这次参加了一个新的数据挖掘比赛，企业非法集资风险预测，与新手赛相比，本次比赛的难度更大一些。

数据处理

本次比赛中，我起初按照上一次比赛贷款违约预测中的相关经验，直接将所有的表合并到一起，然后进行数据转化，将非数值型数据转化为数值型，填充缺失值，精简一些属性，然后采用lightgbm模型进行训练，但是训练结果提交却出错，我经过观察发现，是因为本次比赛中出现了贷款违约预测中不存在的情况，即主键对应的数据，出现重复项，因此，我转而首先分别处理各个不同的表。

1. news_info 中，分别对每个id的正面，负面，中立的信息进行统计。
2. other_info.csv中存在矛盾值，去除掉不合理的矛盾值
3. change_info.csv，我进行特征提取，不记载变更的代码，相反，统计不同公司变更的次数
4. base_info.csv中，进行特征的删除与填充

建模训练

我采用的是我比较熟悉的lightgbm模型，初步训练并输出了一个结果，更进一步的调参优化在之后完成

结果