机器学习之梯度下降算法Gradient Descent

本文深入探讨了机器学习中的梯度下降算法,包括代价函数J(θ)和其导数∂J/∂θj的角色,以及如何通过调整参数来优化模型。介绍了在回归问题和分类问题中的应用,例如房价预测和良性恶性肿瘤预测,并提供了MATLAB代码示例进行代价函数计算和梯度下降算法的实现。
摘要由CSDN通过智能技术生成

      梯度下降算法:

机器学习实现关键在于对参数的磨合,其中最关键的两个数:代价函数J(θ),代价函数对θ的求导∂J/∂θj。

如果知道这两个数,就能对参数进行磨合了:其中 α   为每步调整的幅度。

其中代价函数公式J(θ)

代价函数对θ的求导∂J/∂θj:

通过不断减低代价函数而得到准确的参数。

例如:


算法运行过程:给定初始参数p0,p1,通过算法一步一步调整P0,P1,使得J变小。

梯度下降算法适用范围:监督学习。

监督学习有两类问题:1.回归问题。2.分类问题。

1回归问题。

如房价预测。y = x1p1+x2p2+x3p3...;

      计算代价函数时h(x) = x1p1+x2p2+x3p3...


2分类问题 

       如良性恶性肿瘤预测。y = sigmoid(  x1p1+x2p2+x3p3....)有关;其中sigmoid(x) =  1/(1+ exp(-x))

cost J   : =      -log(h(x) )   if   y = 1;

                          -log(1-h(x))    if y =0;

结合起来可得

MATLAB编码过程:

1.录入数据:

data = load('data.txt');

X = data(:, 1); y = data(:, 2);

X = [ones(m, 1), data(:,1)]; % Add a column of ones to x

2.计算代价函数cost funtion:

回归问题:J = sum((sum(theta' .* X,2) - y).^2)/(2*m);其中(sum(theta' .* X,2)为h(x)

分类问题:J = sum(-y.*log(sigmoid(sum((theta' .* X),2))) - (1-y).*log(1-sigmoid(sum((theta' .* X),2))))/m;

3.执行gradient Descent梯度下降算法:

预设参数theta,调整幅度alpha,调整次数iterations;

theta =gradientDescent(X, y, theta, alpha, iterations){

for iter = 1:num_iters

old_theta = theta;

theta(1)= theta(1) - alpha* sum((sum(old_theta' .* X,2) - y).*X(:,1))/m;

theta(2) = theta(2) - alpha* sum((sum(old_theta' .* X,2) - y).*X(:,2))/m;        

end

}




评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值