最近找到一本ML实战应用的资料很是不错,记下了很多东西,整理后一次性发布。先占个位,防止自己又鸽掉(狗头)
比如SVM的优点听起来有点玄幻:因为SVM理论保证太充足了,这个模型直接拿过来用,不调参效果都比较好。
NN目前的使用缺点:1大量的精力去调参:同样的算法与数据,得到同样的结果较难。2模型复杂度固定,但我们在进行一个任务之前是不可能知晓这个任务的复杂度的,所以只能边做边进行模型简化,最近很多DNN的论文都是关于模型压缩、模型简化和轻量级网络。从本质上DNN不能做到对任务复杂度的自适应(也就是说不能随着训练过程提升算法的复杂度)的原因是,一旦模型不是确定的,BP算法求梯度的对象就是不确定的,除非不使用BP算法。3其实目前应用比较成熟的任务中的数据类型无外乎图像、视频、语音三方面,但现实任务中的数据类型远不止于此,而在这里问题上,随机森林或XGBoost表现更好
深度森林:不基于NN,模型复杂度根据数据调整,超参数比较少,除图像视频语音外其他类型数据上表现已经接近和超越DNN
AdaBoost:优点:泛化错误率低,易编码,可以应用在大部分分类器上,无参数调整 缺点:对离群点敏感 适用数据类型:数值型数据以及标称型数据 另外还有集成学习(ensemble method)或元算法(meta-algorithm)的优点:将若学习器训练为强学习器