关于机器学习的应用场景
- 推荐算法
- 网页推荐
- 数据挖掘
- 无人驾驶
- 人工智能
- 智能医疗
- …
机器学习的定义
计算机程序从经验E中学习任务T。 并用度量P来衡量性能。条件是它由P定义的关于T的性能随着经验E而提高。
机器学习分类
监督性学习
回归问题->连续型数据
线性回归分析
训练集
函数:
h(x)=θ0+θ1x
代价函数
J(θ0,θ1)=12m∑mk=1(h(xi)−yi)2
梯度下降法最小化代价函数值
θi:=θi−α∗∂∂θiJ(θi)
(α为学习速率)
越接近局部最小点变化越慢。
矩阵和向量
* 矩阵的维数等于矩阵的行数乘以矩阵的列数
* 向量可以被视为只有一列的矩阵
多个训练集的情况,即多元线性回归
多个训练集时,用向量标注。
h(x)=θ0+∑mi=1θixi
(可以看做是
x0
恒为1)
x(i)j 表示第i个样本里头的第j个特征量
X= (x0x1x2…xn) θ=(θ0θ1θ2…θn)
h(x)=θTX
依次更新每一个 θ 的值: θj:=θj−α1m(hθ(xi)−yi)xij(j从0循环到n)
梯度下降法中的技巧
特征缩放(feature scaling)
关键在于保证特征值的范围大小相近,最好是将 xi 的范围大约约束到-1到1之间。( x0 恒为1所以已经在范围之内了)
均值统一化(mean normalization)
将 xi 用 xi−uisi 代替使得特征值的平均值接近0, x0 不用处理
选择合适的特征值
可以通过已有特征值定义新的,更合适的特征值。
多项式回归分析
比如现在的特征值为s, h(x)=θ0+θ1x1+θ2x2=θ0+θ2s+θ3s2 那么就可以使 x1=s,x2=s2 将多项式回归转化成多元回归分析
标准方程法
θ=(XTX)−1XTY (其中X为一个(n+1)*m维矩阵用来表示m个训练集,Y为m维向量用来表示m个结果)