机器学习:正态方程法(Normal Equation)
与梯度下降算法并列,这也是最小化成本函数J的一种方法,与之不同的是,该算法显式地执行最小化,不用迭代算法。(直接对J(θ)求导来最小化J所推得得公式)
该算法得过程如下:
根据训练集得到矩阵X,y,利用公式直接计算即可得到向量θ(即θ0~θn,接着即可得到假设函数h)。
与梯度下降法相较:
优点:无需选取学习速率α,无需进行迭代,一般适用于特征量n较小的情况(小于10000)
缺点:需要计算XTX的转置,复杂度高。
与梯度下降算法并列,这也是最小化成本函数J的一种方法,与之不同的是,该算法显式地执行最小化,不用迭代算法。(直接对J(θ)求导来最小化J所推得得公式)
该算法得过程如下:
根据训练集得到矩阵X,y,利用公式直接计算即可得到向量θ(即θ0~θn,接着即可得到假设函数h)。
与梯度下降法相较:
优点:无需选取学习速率α,无需进行迭代,一般适用于特征量n较小的情况(小于10000)
缺点:需要计算XTX的转置,复杂度高。