如果环境存在random，那么问题还能建模成MDP吗？

李宏毅老师的课程：https://www.youtube.com/watch?v=W8XF3ME8G2I

老师说，对于同一个observation/state（atari game的画面），也不一定会采取相同的动作，因为有些actor是stochastic的，选action有一定随机性，这一点好理解。。。

老师还说，即便actor采取同一个action，得到的reward和next state也不一定一样，因为game本身存在一些randomness。这一点我很早就注意到了，那如果game本身存在randomness，以game的画面为state，state到state的之间的转移还有马尔科夫性质吗？如果没有的话，RL这些方法的应用是不是很牵强？或者说RL只是在randomness的基础上学个平均还不错的policy。