机器学习（浙大课程b站）第五章

笔记

1. AlphaGo围棋规则
   AlphaGo围棋有必胜策略的证明
   博弈论(Game Theory)中提到：任意有限步结束的零和博弈有必胜策略
   用数学归纳法证明:
   
   
   
   
   
   
   围棋是有限步结束的游戏吗？
   
   
2. 强化学习（Q-Learning和epsilon-greedy算法）
   强化学习与监督学习之间的区别，监督学习中训练数据和标签一一对应。强化学习中训练数据中没有标签，只有一个奖励函数reward function。
   
   
   
   一些定义：
   
   并且假设t+1时刻的状态只与t时刻有关，与之前都无关。这是在内部的情况，如有有外部因素的话也要考虑在内。
   一些假设：
   
   
   以概率1到达下一个状态。
   
   
   
   我们要学习这个函数
   
   
   
   即Bellman Equation
   
   
   
   
   
   
   
   
   
   对于不确定性，需要在Q-Learning算法中加入探索和利用(EXPLORATION AND EXPLOITATION)机制。
   探索：稍微偏离目前的最好策略，以便达到搜索更好策略的目的。
   利用：运用目前的最好策略获取较高的奖赏(Reward)。
   基于探索和利用的epsilon-greedy算法是最常用的算法之一，概括的说，对于每一步以概率epsilon做探索，以概率1-epsilon做利用。
   
   当状态数和行为数很多时，Q-Learning算法和EXPLORATION AND EXPLOITATION算法将会遇到困难。
   深度强化学习方向DEEP REINFORCEMENT LEARNING
   
   Deep Q-Network(DQN)
   
   其中θ是代估计的量
   
   
   
3. policy gradient和actor-critic算法
   
   
   即actor-critic算法，其主要思想是同时优化收益函数Q(s,a)和估值函数V(s)
   
   Q是演员，V是评论家。Actor-Critic是一个演员和评论家互相促进，共同进步的算法。
   
4. 增强学习(AlphaGo)
   
   
   
   
   
   为了避免对局的网络过于相似而出现的过拟合，应用了如下策略：
   
   
   
   
   
   
   
   
   
   
   
   

测验

1单选
在强化学习的过程中，学习率越大，说明使用新的尝试得到的结果比例越（），保留的旧的结果比例越（）
A.小，小
B.小，大
C.大，大
D.大，小
正确答案：D

2单选
在强化学习的过程中，（）在稍微偏离目前最好的策略的基础上，能够尝试更多种的策略。（）是指运用目前最好的策略，获取更高的奖赏。
A.探索，利用
B.利用，输出
C.探索，输出
D.利用，探索
正确答案：A

3单选
‍在epsilon-greedy算法中，epsilon的值越大，采用随机动作的概率越（），采用当前Q函数值代表的最大动作概率越（）
A.小，大
B.小，小
C.大，小
D.大，大
正确答案：C

4多选
‌强化学习包含的元素有（）
A. Action
B. State
C. Agent
D.Reward
正确答案：A、B、C、D

5多选
‌AlphaGo算法中，深度策略网络为了避免对局的网络过于相似出现的过拟合，采用下列那些策略（）
A.每500次迭代就复制当前网络参数到对手池中
B.将当前版本网络与之前随即版本对局，得到输赢结果
C.将监督学习的网络复制作为增强学习的初始网络
D.利用reinforce算法更新参数最大化结果
正确答案：A、B、C、D

咋说呢，这一章光听b站的课是有些难懂的，本身原理有些难懂再加之涉及到很多其他方面知识，还有就是画面和PPT不太统一，看起来特别散，所以结合了mooc上的PPT。想搞懂的话估计还是要看这方面的书。