萌新的机器学习笔记之一：Regression Case Study

机器学习入门之一：Regression Case Study(线性回归的实例)

//regression的使用案例：股票市场预测；人工智能驾驶（方向盘角度）；购买物品推荐
课堂实践：宝可梦的能力（cp）预测

CP值决定宝可梦的进化价值=获得更高等级的宝可梦

1. Step 1： Model

建立一个简单的模型

2. Step 2：Goodness of Function

理想的运行过程
注：function Output（scalar）下标不可避
多只宝可梦的数值记录，判断function的好坏

Loss function L；l(f)=L(w,b)
注：函数即代表function的误差，数值越大说明约不准确。

3. Step 3： Best function （Gradient Descent)

//寻找Loss function值最小时的w，b

1.穷举法（无意义 略）
2.随机选取初始点，判断斜率，即微分
3.在曲线中对参数w进行选取，注意learning rate常量，衡量参数的变化幅度
4.数据（参数w）会进行更新，曲线右移，反复进行iteration。

5.当有两个参数的时候，需要分别对参数w，b进行偏微分，更新参数

6.得到图像，图像上的点进行偏微分（寻找法线方向），liner regression不容易陷入局部最小值（Local optimal）

7.偏微分公式

4. 新的Model

一般来说，添加更多的参数，数据误差（Average error）更小，预测更加准确

可以看出，Training data 与Testing data的数值有时并不一致（Overfitting）

当collect更多的数值时，可以发掘一些hidden factor（未知但会对模型产生影响的参数），需要修改function set
不同的宝可梦使用不同的参数数值

一个liner function和与之对应的liner modle

back to step 1
Redesign
加入更多的参数，保证training error值更低
back to step 2
Regulation
修改function set 使得曲线更加平滑（smoother），依赖λ数值的变化


总结：
一些概念的了解：
gradient descent
overfitting and Regulation
明白误差以及解决途径和目的
Average error may changed on testing data by change the number of λ