李宏毅机器学习第二周

---

摘要

本周学习了预测宝可梦cp值的线性回归案例，生成性学习的分类和逻辑回归的分类，以及这三种方法的对比。在预测宝可梦们cp值案例中，了解到了过拟合出现的原因以及解决过拟合的方法。在使用生成性学习去预测宝可梦的类别的案例中，了解到了sigmoid函数和生成行性学习的关系，也就是逻辑回归分类。通过对比线性回归和逻辑回归，发现逻辑回归就是在线性回归外面套了一个sigmoid函数，但是损失函数不同。通过对比逻辑回归和生成性学习，知道了两者的不同，生成性学习通常会假设一个概率分布，这相当于提前进行了判断，那种分类方法好需要根据实际来选择。最后使用逻辑回归解决了异或问题，引出了神经网络初代模型。

---

Abstract

This week you learned about the linear regression case for predicting Pokemon cp values, the classification of generative learning and logistic regression, and the comparison of these three methods. In the case of predicting the cp value of Pokemon, we understand the causes of overfitting and the methods of solving overfitting. In the case of using generative learning to predict Pokemon categories, we learned about the relationship between the sigmoid function and generative row learning, that is, logistic regression classification. By comparing linear regression and logistic regression, it is found that logistic regression is a sigmoid function outside linear regression, but the loss function is different. By comparing logistic regression and generative learning, we know the difference between the two. Generative learning usually assumes a probability distribution, which is equivalent to making a judgment in advance. The best classification method needs to be selected according to the actual situation. Finally, the XOR problem is solved by logistic regression, and the primary model of neural network is presented.

1. linear regression

本章以预测宝可梦的cp值的例子来学习线性回归，线性回归得到的是一个标量（scalar）。

1.1 机器学习三步走

• 建立model:y=w*xcp+b
  

• 建立损失函数，在training data上使用梯度下降优化（更新w和b）model
  

• 得到最优的model
  
  

1.2 梯度下降过程

只考虑W的情况下

考虑W和b的情况下更新参数，方法相同

求偏导，具体计算

注： Don’t worry.In linear regression,the loss function L is convex.No local optimal.
不用担心，在线性回归中，损失函数L是凸的。无局部最优。

1.3 优化model

使用测试集来检验model的误差，不是十分理想，所以对model进行优化。

1.3.1 加参数，使用一个特征

参数越多，在训练集上的误差肯定越小，但是随着参数的增多会产生过拟合的问题（在训练集上表现很好，在测试集上表现反而不好）。如何选取泛化能力最好的model？


增加数据量又出现新的问题，宝可梦的cp值和种类也有关系。

1.3.2 加参数，使用多个特征

改变model，加入宝可梦的种类信息


还可能有其他因素特征影响模型

再次更改模型加hp，weight（体重），height（身高）

overfitting

1.3.3 正则化（regularization）处理overfitting

如何处理overfitting，使用正则化（regularization）去改变权重W

• 这样可以得到平滑的function ，当输入中有一些杂讯（noise）干扰时，smoother function 受到的影响较小
• 在做regularization（正则化）时不用考虑bias，因为调整bias只是将function上下调整
  加入正则化之后模型model在训练集和测试集的误差

总结，并且引出验证集的重要性（交叉验证）

2. classification

2.1 generative model

对79只宝可梦进行分类，是水系或者正常。

2.1.1 机器学习三步走

• 选择model
  

• 使用损失函数进行优化，这里使用极大似然估计
  

• 得到最优model
  

2.1.2 改进模型

模型为何不好，因为使用了两个高斯分布函数，参数过多（个人见解）。策略：使两个高斯分布函数公用相同的Σ，减少参数。

如何求相同的Σ，使用加权平均。

得到新的model性能，在7维空间中accuracy从54%到79%。

2.1.3 sigmoid如何推出来

2.2 logistic regression

逻辑回归的本质是：sigmoid中套了一个线性函数。由上节的generative model得到sigmoid。
使用sigmoid来进行二分类，直接找W和b。

2.2.1三步走

• 建立model
  

• 构建损失函数（由极大似然估计推导的交叉熵），使用梯度下降来优化model
  

• 得到最优model
  

2.2.2 logistic为何不使用square error

为何逻辑回归损失函数不能使用均方误（square error）？

梯度下降更新参数时会出现问题

square error和cross entropy损失函数图像的对比

交叉熵相比于MSE对于错误有更加强烈的输出，更易看出损失函数的微分变量

2.2.3 线性回归和逻辑回归对比

2.2.4 Discriminative V.S. Generative

generative和Discriminative相比，都说discriminative的性能更好，但是不一定是这样的。

朴素贝叶斯认为两个红颜色的特征这个样本属于class C2，和人类直觉（我们判断第一个样本是属于class1）相反。因为朴素贝叶斯认为这两个特征时独立（independent）的。generative提前做了脑补这件事(即对于这个例子中样本属于Class C2的概率大)。脑补的到底好不，在训练样本数量少的情况下，脑补是十分有用的。

2.3 多分类

和二分类类似，模型加入softmax。Softmax 会将大的值拉的更开，强化大的值。

损失函数还是交叉熵，可使用三个高斯分布公用一个Σ，使用极大似然估计来推导多分类的损失函数。

2.4 logistic regression的限制（异或问题）

解决异或问题，引出神经网络初代model。
问题引出

逻辑回归本质上是一个线性分类器，使用一条直线分不开这四个点

如果执意使用logistic regression，特征变换可以解决异或问题，但是如何找这个transformation又是一个问题。使用sigmiod函数进行特征变换。


特征变换后，很容易进行分类。

这不就是深度学习