李宏毅机器学习hw1~4作业 强化点

李宏毅机器学习hw1

1. 特征选择

利用sklearn中的特征选择方法，选择了少量最有影响的特征。对特征进行归一化处理，将其转换到[0, 1]区间内。
参考：基于sklearn的特征选择方法

2. 激活函数

LeakyReLU

优点：
1、针对Relu函数中存在的Dead Relu Problem，Leaky Relu函数在输入为负值时，给予输入值一个很小的斜率，在解决了负输入情况下的0梯度问题的基础上，也很好的缓解了Dead Relu问题；
2、该函数的输出为负无穷到正无穷，即leaky扩大了Relu函数的范围，其中α的值一般设置为一个较小值，如0.01；

缺点：
1、理论上来说，该函数具有比Relu函数更好的效果，但是大量的实践证明，其效果不稳定，故实际中该函数的应用并不多。
2、由于在不同区间应用的不同的函数所带来的不一致结果，将导致无法为正负输入值提供一致的关系预测。

ELU

优点