机器学习笔记（一）

机器学习笔记

机器学习问题

1. 监督学习
   回归问题：线性回归算法
   分类问题：逻辑回归算法

2. 无监督学习
   聚类算法

目标函数or代价函数

方差

交叉熵

求解目标函数（最小代价函数）的方法

• 梯度下降算法
• 正规方程
• 轭梯度法 BFGS (变尺度法)
• L-BFGS (限制变尺度法)
  
  

过拟合和欠拟合

欠拟合:不能很好地适应训练集的拟合。
过拟合:完美的适应训练集的拟合。
无论是过拟合还是欠拟合都是不合适的。欠拟合既不能适应训练集，预测效果也不好；过拟合虽然很好地适应了训练集，但预测效果可能不好。
解决方法：
欠拟合：增加特征维度。
过拟合：减少特征维度或正则化。

正则化

基于方差的代价函数。

多分类问题

在二分类问题中，我们计算的实际上是y=1的概率。而在多分类问题中，y不再只有0,1两个取值，但是算法思想还是一样的。首先随机选择其中一个类别，再把其他所有类看成另一个类，之后再对剩下的类进行相同的操作，这样就把一个多分了问题转化为一系列的两份类问题，然后对这些二分类问题求解，得到一个各类别概率的数组，概率最大的类别记为预测结果。

学习资料

吴恩达机器学习系列课程：https://www.bilibili.com/video/BV164411b7dx