机器学习和深度学习--李宏毅 （笔记与个人理解）Day7

Day7 Regression Case study （预测宝可梦的cp）

Regression 可以做什么？ 股票预测 自动驾驶 推荐 预测宝可梦的cp（能力类似这样的属性把）

这里突然想到，是不是可以用洛克王国和赛尔号做事情哈哈

注意： 用下标来表示某一个完整的物体的某一个部分，例如：x 表示妙蛙种子；那么 x_hp 就表示它的生命值，x_cp 就表示我们要预测的战斗力等等

review 做机器学习的三个步骤：

1. 找一个model（function set 关于函数的集合）
2. 制定评价函数好坏的指标
3. 找一个最好的function

Example：预测宝可梦

Step1 Model

注意这里的做法看似简单， 但是这种思想却是贯穿机器学习始末的：用简单的抽象的函数来表示我需要解决的问题

Step2 Goodness of function

抓取一部分的training Data 来训练我的参数

注意：这里用上标来表示一个完整的个体的编号; 在本课程中使用 y（head）$y\wedge$来表示正确的值

Loss Function : 一个函数的函数

input： a function ,output :how bad it is

因为f 是由w 和b 来决定的

Step 3 Best Function (Gradient Descent )

找到最好的function， 也就是使得 L 最小

这里用线性代数的方法可以直接求 ，最速下降法（Gradient Descent）更有普遍性和计算机领域的意义

how can we do better ?

select another model

个人感觉这里用多项式进行复杂函数的逼近，有一点像泰勒展开（泰勒级数）不同的点在于，这里的w 是彼此无关的，然而泰勒级数的展开式和展开点相关性极强

从这里可以嗅到过拟合（Overfitting）的味道啦~

Let’s collect more data

what are the hidden factors ?

improve the model (consider the category )

Redesign the Model

这样的变形还是 linear model 吗？分段？

这里蓝色的部分就是我的feature ，本质上还是 linear model

Are there any other hidden factors?

使用了一个比较复杂的function ，发现过拟合了

两种方案：去掉不重要的因素feature

or Regularzation （正则化）

更加平滑； 减少 输入x_i 对输出的影响； 红色的框框就是 Regularization的项

why we like the smooth ? (哎嘿~ 哈哈 🚗 )

减少noises 的干扰（尤其是我们并不知道 noises 是什么的情况下， 如果知道的话 直接剪掉不就好了哈哈）

$\lambda$ 太小，过拟合， 太大 欠拟合

how smooth ? (如何选择 合适的$\lambda$) 这里老师简单跳过了，直接看图选

为什么不加b？

b 的大小和平滑程度无关，

Conclusion

• cp is determined b the before cp and the species
• Gradient Descent(我这里没有过多花时间，因为之前学过几遍了， 感兴趣的同学可以去看看吴恩达的Gradient Descent)
• Over fitting and Regularization (正则化) （这里加深了对正则化的理解，注意区分 正则化和 归一化这类预处理）
• 

提问：好吧 不知道，感觉有高有低没有依据