机器学习,数据驱动,迭代提升

    在对比了人类逻辑和机器学习后,对整个机器学习的优点和缺点有了明确的理解,同时对其的重点和难点也有了一点认识.机器学习就是要做到

1数据正确

2特征能够表征数据

3模型状态适合

4预测结果分析

基于以上的要点,将机器学习的过程总结如下:

1  数据预处理

        在这个阶段,需要的工作一般有异常值处理,缺失只处理,编码数据等,其目的就是要保证数据正确有效,便于程序处理.唯有如此才能够学习到数据中真正的模式.

2 初步找寻特征,输出的关系

可以大胆的尝试,猜测和构建,然后按照这种尝试和猜测提取特征

3 构建一个baseline 模型,

一般现在通用的模型有xgb,lgb,初步设置参数,然后测试模型的效果.在看到效果后,可以根据学习曲线,看看模型是欠拟合还是过拟合,根据状态,就可以采取后续措施.

4基于结果分析,特征特性分析

根据模型的结果,加上最开始的一种猜测,结合起来,分析特征的不足,增加或者减少特征.

5 融合产生新的特征

根据分析,尝试将重要性的特征进行融合,然后加入其中,测试模型的效果

6重新训练模型,细调参数

7特征选择

根据我调试的经验,一般喜欢将模型变得稍微有点过拟合,这证明特征的信息比较的有效,.然后再去做特征选择和优化

8模型融合

为了进一步提升模型的性能,可以将多种模型融合

9 反复迭代

数据驱动的算法,就是不停的迭代,分析和评测.