二、(机器学习)-算法-梯度的上升与下降

梯度的上升与下降

一、什么是梯度

先理解下什么是梯度，用通俗的话来说就是在原变量的基础上每次迭代增加一定的量，比较各个变量下目标函数的大小。
例如有一个目标函数 y = 2χ2 ,那么求目标函数的最小值，我们先给x赋一个值-5，然后每次给x加一个值（有正负方向的值），这样y每次都会有一个值，当值减小幅度达到一定精确度时停止，这是的x就是我们求的最优解。

---

梯度算法的思想对理解机器学习是非常的重要的，比如说，随机森林，极限森林，等等很多的算法都是在梯度算法的思想上进行的，本博客没有进行数学公式的说明，所以理解代码需要一定的能力，如果感觉不太容易理解，请联系我。

二、直接来看代码吧

#先导入相关的包
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

#假设一个函数
f = lambda x:(x-3)**2 + 2.5x - 7.5
# 让我们画一下图像去看看
x = np.linspace(-2, 5, 100)
y = f(X)
plt.plot(x, y)

# 先自己去求一下曲线的最低点的值，也就是我们要求的值
# 导数 = 斜率 = 梯度
2*(x-3)*1 + 2.5 = 0
2*x = 3.5
x = 1.75
# 1.75 也就是我们要预测的值

# 下面开始预测,用函数表示曲线的斜率
d = lambda x:2*(x-3) + 2.5
# 学习率每次学习之后改变的数值 sep，这个值的选取是非常的重要的
# 如果选取太大，则会发生梯度爆炸，因为如果太大的话，可能加一个sep就会跳过那个预测的范围，结果就会一直的变大
learning_rate  = 0.1
# 此处的min_value是预先假设的预测值，机器学习的强大之处就在于，可以根据一个随意的值，利用自己的算法求出正确的值
# 也可以定义一个定值 min_value = 3
min_value = np.random.ranint(0, 3, size=1)[0]
print('random随机值', min_value)
# min_value_last 是与min_last一直相比较的值
min_value_last = min_value + 0.1
# tol 是自定义的预测范围值，当二者相差小于0.0001时，说明此时的预测值已经非常的接近正确结果了
tol = 0.0001
count= 0

while True:
	if np.abs(min_value - min_value_last) < tol:
		break
	min_value_last = min_value
	# 带入min_value实际就是每次去利用预测值求出斜率，当改变值很小时，说明斜率接近 为0，为极值点
	# 如果很难理解可以想一想 一个一米的木棍 一直 /2 是不是可以无限的折，
	# 同样的道理，无限的减少一点越减越少
	min_value = min_value - learning_rate*d(min_value)
	count += 1
	print('---------->第%d次预测'%(count), min_value)
print('**************', min_value)

通过预测结果可以分析得到，经过了34次预测，此时满足|min_value_last - min_value| <= 0.0001 得出的预测值也是与正确的结果非常的吻合.

下面让我们画图来看下具体的过程

# 此时我们定义 min_value 为固定的值 -2 

x =  np.linspace(-2, 2, 100)
y = f(x)
plt.plot(x, y)
result = np.array(result)
plt.plot(result, f(result), '*')

梯度算法的思想对理解机器学习是非常的重要的，比如说，随机森林，极限森林，等等很多的算法都是在梯度算法的思想上进行的，本博客没有进行数学公式的说明，所以理解代码需要一定的能力，如果感觉不太容易理解，请联系我。

---

望您：
“情深不寿，强极则辱，谦谦君子，温润如玉”。