1. 机器学习的基本模式
拟合数据 (训练模型) --> 进行预测
-
假设函数(Hypothesis Function):通常表示为 H(x),输入数据输出预测值y^。
-
损失函数(Loss Function):通常表示为 L(x),表示预测值与真实值的偏差。。函数返回值越大,表示结果偏差越大。
成本函数(Cost Function):通常表示为 J(x) ,与损失函数一样表示预测值与真实值的偏差。区别二者的关键在于对象,损失函数是针对单个样本,而成本函数则是针对整个数据集,也就是说,损失函数求得的总和就是成本函数
L2范数和均方误差是机器学习常用的损失函数。
-
优化方法
优化方法根据损失值调整假设函数的参数以更好地拟合数据。梯度下降(Gradient Descent)法是机器学习中常用的一种优化方法。如果样本数量庞大,完成一次完整的梯度下降需要耗费很长时间,在实际工作中会根据情况调整每次参与损失值计算的样本数量。每次迭代都使用全部样本的,称为批量梯度下降(Batch Gradient Descent);每次迭代只使用一个样本的,称为随机梯度下降(Stochastic Gradient Descent)。
首先为假设函数设定初始参数,计算得到预测值;其次将预测值带入损失函数,计算损失值;然后通过得到的损失值,利用梯度下降等优化方法,不断调整假设函数的参数w,使得损失值最小,这是一个迭代的过程。
2. 线性回归
-
回归问题与分类问题的区别
回归问题和分类问题最大的区别在于预测结果。根据预测值类型的不同,预测结果可以分为两种,一种是连续的,另一种是离散的,结果是连续的就是回归问题。
-
拟合数据
假设函数:
h ( x ) = θ 1 T x + θ 0 h(x)=\theta_1^Tx+\theta_0 h(x)=θ1Tx+θ0
损失函数:-
采用L2范数(它的正式名称为“范数正则化”,习惯上简称为“范数”或“正则化”,是指向量各元素的平方和然后求平方根):
L ( x ) = ∣ ∣ y ^ − y ∣ ∣ 2 2 L(x)=||\hat{y}-y||_2^2 L(x)=∣∣y^−
-