机器学习笔记

学习的书是刘海军老师主编的机器学习理论和实践，所有的笔记都是基于我自己的理解和书上内容的结合，仅做为学习使用。

a、机器学习定义：
机器学习在我看来是一门教会计算机学习人类行为，从中获取知识技能，然后利用学会的技能不断提升自身性能的学科。

b、机器学习有的类别：
1、监督学习：
（1）分类：给出训练集，让计算机对测试集的数据判断，总有一个好坏，正误，优良之分，可以判断新冠阴阳等
（2）回归：不再有类别的区别，最后会给出一个连续的值，可以预测房价之类的
2、无监督学习：聚簇，没有训练集，只有一堆数据，计算机要自己发现规律，对数据进行处理，分出相同的簇。

c、数据集（训练集）的划分方法
1、留出法：用分层采样保证一致性
2、交叉验证法：k个数据子集，k-1个训练集，1个测试集。进行k次训练，每次的测试集都不一样，算k个误差，取其平均值
3、自助法：有点像又有放回的随机取样，m个数据，取m次，以取到的作为训练集，没取到的作为测试集

d、模型的评价方法（测试集）
分类问题：
1、错误率与准确率：字面意思可理解，但对于类别不平衡问题不靠谱，
2、混淆矩阵：针对类别不平衡问题，防止大数吃小数，主要考察查准率和查全率。但是二者在实际情况下有所取舍，可以通过加权的方式加重某一概率的比重
（1）查准率P：正确率，预测的结果有多少是正确的
（2）查全率R：正确的数据中有多少被查出来了，是都查出来了（查全率为1）还是都没查出来（查全率为0）
回归问题：
1、平均绝对误差：误差的绝对值求平均数
2、均方误差：类似于方差
3、均方根误差：类似标准差
4、R^2:判断回归线的拟合程度，就是X的变化导致Y的变化，实际与预期差多少

接下来学的几个模型在数学建模里面也有涉及，比如：决策树模型，线性模型，神经网络
e、线性模型