【增强学习】Sarsa

增强学习之Sarsa

---

代码下载: github https://github.com/gutouyu/ReinforcementLearning

---

增强学习算法Sarsa（state-action-reward-state_-action_）。和QLearning非常相似。Sarsa是一种On policy的算法(整个循环都是在一个路径上)，state_ action_ 在Q_table更新的时候就已经确定了。QLearning是off policy，state_，action_在Q_Table更新的时候，还没有确定。

1. 算法思想

Sarsa和QLearning非常相似，不同的只是Sarsa在更新Q_Table的时候，说到做到，它总是会选择比较大的Q(s2,a2)，不但更新s1的时候是这样，选择的时候也是这样。

也就是说，Sarsa同样是在更新Q_table，与QLearning不同之处在于：

• Sarsa在当前state已经想好了对应的action，而且也想好了下一个state_和action_.而QLearning必须要等到进入了下一个状态state_才能想好对应的action_
• Sarsa更新Q(s,a)的时候是根据下一个Q(s_ ,a_) 而QLearning是依据maxQ(s_ ,a_ )

2. 实现

所有代码，github可以下载

• 主循环

# 有100条命来让Agent学习，如果还没有学会，game over
    for episode in xrange(100):
        # Init observation/state
        observation = env.reset()

        # Sarsa根据observation选取一个action
        action = RL.choose_action(str(observation))

        while True:

            # Sarsa执行action,得到下一个observation observation_
            observation_, reward, done = env.step(action)

            # 执行了这一步的action之后，还要再选出下一步要执行的action，才能用于上一步的学习
            action_ = RL.choose_action(str(observation_))

            # 学习
            RL.learn(str(observation), action, reward, str(observation_), action_)

            # 更新observation action
            observation = observation_
            action = action_

            # 死掉了（掉进黑块）就重新来
            if done:
                break

• 状态、表格初始化

    def __init__(self, actions, learning_rate=0.01, reward_decay=0.9, e_greedy=0.9):
        self.actions = actions # a list
        self.lr = learning_rate
        self.gamma = reward_decay
        self.epsilon = e_greedy
        self.q_table = pd.DataFrame(columns=self.actions)

• 根据observation选择action,采用的是epsilon-greedy。也就是说会以小概率的情况去进行探索，大部分的情况会选择最好的action

    def choose_action(self, observation):
        self.check_state_exist(observation)

        # action selection
        if np.random.uniform() < self.epsilon:
            # choose best action
            state_action = self.q_table.ix[observation, :]
            # 防止两个值相等的action总是选择其中一个，要随机选择
            state_action = state_action.reindex(np.random.permutation(state_action.index))
            action = state_action.argmax()
        else:
            # choose random action
            action = np.random.choice(self.actions)
        return action

• 根据当前的observation action和下一步即将采取的observation_ action_ 以及得到的reward来进行学习

    def learn(self, s, a, r, s_, a_):
        """
        Sarsa是已经知道了下一步要采取的action，而且他也肯定会采取这个action。所以他的学习是直接基于下一次的action的。
        """
        self.check_state_exist(s_)
        q_predict = self.q_table.ix[s, a]
        if s_ != 'terminal':
            q_target = r + self.gamma * self.q_table.ix[s_,a_] # Sarsa使用下一次采取的action来更新
        else:
            q_target = r # next state is terminal
        self.q_table.ix[s, a] += self.lr * (q_target - q_predict) # update

• 检查状态state是否已经存在，如果之前不存在就加入到SarsaTable中

    def check_state_exist(self, state):
        if state not in self.q_table.index:
            # append new state to q table
            self.q_table = self.q_table.append(
                pd.Series(
                    [0] * len(self.actions),
                    index=self.q_table.columns,
                    name=state
                )
            )

3. 总结

• Sarsa相比于QLearning要胆小很多。他每走一步都要特别怕，特别小心，都尽可能的避免掉进坑里。但是他也会以小概率采取不是那么好的action，因为我们是epislon-greedy.属于On policy。
• QLearning要大胆很多，他为了达到目的，中间不管才多少坑，都不在乎。属于Off policy。