机器学习记录

机器学习算法的整体流程

数据的收集与清理

数据是模型能力的天花板

预处理：数据清理（填充缺失值，发现并消除异常，合并多个数据集），数据降维（简化数据），数据标准化（减少偏离值）

“脏数据”：不完整，多噪音，不一致（矛盾）

数据的转化：1 类别数据编码转化为对应的数据表示（哑编码，独热编码）

​ 2 数值数据转化为类别数据以减少变量值

​ 3 文本中提取有用数据

​ 4 处理图像（颜色，haar)

特征选择

过滤法（可能结果还是冗余）[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JLpTcyL2-1667112002367)(C:\Users\林\AppData\Roaming\Typora\typora-user-images\image-20221016223328963.png)]

包装器（特定性过强）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0YrdaSnU-1667112002368)(C:\Users\林\AppData\Roaming\Typora\typora-user-images\image-20221016223503620.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jRMNJdRy-1667112002369)(C:\Users\林\AppData\Roaming\Typora\typora-user-images\image-20221016223640955.png)]

模型训练

有效性

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8G0eoNwa-1667112002369)(C:\Users\林\AppData\Roaming\Typora\typora-user-images\image-20221016224524256.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JqrAXCZ6-1667112002369)(C:\Users\林\AppData\Roaming\Typora\typora-user-images\image-20221016224617524.png)]

模型测试与评估

误差

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yU28I3P1-1667112002370)(C:\Users\林\AppData\Roaming\Typora\typora-user-images\image-20221016224806294.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5wj4kAzN-1667112002370)(C:\Users\林\AppData\Roaming\Typora\typora-user-images\image-20221016224910974.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CnZq6R5A-1667112002370)(C:\Users\林\AppData\Roaming\Typora\typora-user-images\image-20221016225010106.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NLa2J9Jg-1667112002370)(C:\Users\林\AppData\Roaming\Typora\typora-user-images\image-20221016225210744.png)]

参数

本身要的权重

超参数

人为规定

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tVpTX6jI-1667112002370)(C:\Users\林\AppData\Roaming\Typora\typora-user-images\image-20221016231014654.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZizU4b6G-1667112002371)(C:\Users\林\AppData\Roaming\Typora\typora-user-images\image-20221016231405001.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pQkr4691-1667112002371)(C:\Users\林\Pictures\Camera Roll\屏幕截图 2022-10-16 231606.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-C6ikYU5x-1667112002371)(C:\Users\林\Pictures\Camera Roll\屏幕截图 2022-10-16 231557.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RmhczHa8-1667112002371)(C:\Users\林\Pictures\Camera Roll\屏幕截图 2022-10-16 231346.png)]

[外链图片转存中…(img-C6ikYU5x-1667112002371)]

[外链图片转存中…(img-RmhczHa8-1667112002371)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-H4l3QjvN-1667112002371)(C:\Users\林\Pictures\Camera Roll\屏幕截图 2022-10-16 231220.png)]