特征工程
1.
结构化数据:表
非结构化数据:图像、音频、视频
2.归一化:梯度下降求解更快
Min-max归一化:(x-min)/(max-min)
z-score归一化:(x-u)/σ
3.类别型特征
序号编码:保留相对大小关系
独热编码:需要配合特征选择或者使用稀疏向量节省空间
二进制编码:000,001,010
4.高维数据:
距离计算困难
间接引起模型复杂度上升
需要配合特征选择
5.组合特征:通过决策树方法构建
6.图像数据不足:通过扩充、缩放、变换扩展数据集
(1)裁切、旋转
(2)亮度、清晰度、锐度对比度变换
(3)添加椒盐噪声、高斯噪声
(4)RGB颜色变换
7.
过拟合:
正则化、Dropout、扩充数据集、缩减模型、预训练fine-tune、集成学习
欠拟合:
减小正则化系数、增加模型复杂度、增加数据属性
8.
准确率=T/(T+F)
P-R曲线:变化更剧烈,局限于特定的数据集
ROC曲线:TPR=TP/(TP+FN);FPR=FP/(FP+TN),更客观
RMSE比MAPE更易受离群点影响。
距离:满足三角不等式、对称性、正定性
余弦距离:方向上的相对距离
余弦相似度=1-余弦距离
9.训练集和验证集划分:留出法(37分),k折交叉法,自助法(有放回n次抽样,36.8%)
10.参数调优:随机搜索、启发式算法、网格搜索、贝叶斯寻优
SVM
(1) 线性可分的点在分类超平面上的投影一定不可分。
(2) 若不存在两点共位置,比存在一组参数使得SVM模型的训练误差为0,但不一定满足SVM条件。
(3)增加了松弛变量的SVM不一定训练误差为0,但这也不一定是模型追求的目标,因为正则化项也在优化目标之中。
逻辑回归
分类模型,可以多分类,梯度下降的方法进行优化。
决策树
ID3 |
C4.5 |
CART |
|
缺失值敏感 |
🙋 |
||
形态 |
多叉树 |
多叉树 |
二叉树 |
功能 |