阿甘的专栏

$R^2$-score用于衡量回归模型相对于基准模型（始终预测均值）的预测精度提升比例，其值介于负无穷至1之间。公式为 $ R^2 = 1 - \frac{\sum(\hat{y}_i - y_i)^2}{\sum(y_i - \bar{y})^2} $，反映模型误差减少的相对比例。相比均方误差，$R^2$更具可解释性，便于跨任务比较模型性能。虽scipy未直接提供，但可依公式轻松实现。

基于策略的强化学习算法，其理解的关键在于策略梯度，策略梯度的本质，是策略更新的方向。有了正确的方向，策略才会在迭代中趋向更优，方向不对，再怎么努力，也是枉然，劳而无功。这就好像我们要在社区中首次拜访一位友人，一开始不知道他家的门牌号，只能一家家随机敲门确认，假如我们的寻访方向错了，就会白费力气。当前位置的寻访方向，就是当前的策略梯度。我们期望动作的选择，朝着我们期望的目标趋近，因此，必须搞清楚我们的真正目标。也是随机变量，我们的真正目标不是最大化累计回报，而是最大化累计回报的期望。确定的动作是随机的，故。