如何评价谷歌在Science上发表的这篇论文?
谷歌旗下的deepmind公司又在Science上发表的论文,论文描述了AlphaZero如何快速学习每个游戏,如何从随机对弈开始训练,在没有先验知识、只知道基本规则的情况下,成为史上最强大的棋类人工智能。该论文的初稿去年就挂在网上了,我原来判断这篇文章不会在Nature或者Science上发表,因为创新点实在太小了,这也Science正式出版论文后,并没有掀起多大波澜的原因。
难到真的与去年版本没进步么?
正式出版内容与去年网上内容基本类似。只在一些细节上的差别:
1、有些游戏纯在平局的结果,因此在最方误差项目(z-v)2项中考虑了z=0的情况。
2、围棋的棋局具有平移和旋转不变,而国际象棋和日本将棋的规则是不对称的,为了使得方法的统一性,这版的AlphaZero并没将再次旋转90、180、270度后的数据纳入训练数据。
3、过往的AlphaGO Zero的训练参数是阶梯式的进步,而AlphaZero是连续进步的。具体而言,在AlphaGO Zero的训练过程中,随着自我对局结束,选取胜利一方的参数作为训练结果,这时有可能出现阶梯式突变;而AlphaZero一直维护同一个参数,自我对局的数据只是用来作为训练。从以前的阶梯式训练(每55%胜率获胜的玩家作为下一轮产生训练数据的模型),到连续训练(也就是维护单一的神经网络不断迭代更新),省去评估的环节。
综合来看,技术上有什么创新?
与二十年前的深蓝相比,这次Alpha的最大创新是利用近十年来的新技术的一次综合演练。如:用深度神经网络取代了人工特征及评估函数,用蒙特卡洛树搜索(MCTS)算法取代了alpha-beta搜索既准确又快速的降低系统的搜索量;用强化学习的方法自动更新系统参数。很难说这三种技术到底哪个起的作用大,非要排个序的话,我个人觉得是强化学习,就像论文的标题所示,这是一种在强化学习框架下的围棋、象棋、将棋系统。
有个有意思的点:执白比执黑赢的概率大13%。说明围棋规则对黑白两方而言不是平等的,如果AlphaZero能指导围棋规则修订,那它比只会下棋更有意义。
AlphaGO这么成功,适用高校研究么?
如果真正像要搭建一个Alphazero,论文给出了一些具体的实现细节。如在MTSC阶段,学习率是0.2,且在在30万和50万训练步骤以后,学习率调整为0.02,0.002,狄拉克噪声的参数为0.3。但作为研究者而言却是费时费力的事情,尤其是学生不可能像谷歌那样动用巨大的计算资源,每调整一次参数花很长时间,这也是高校无法做类似研究的原因。
未来还能在哪些地方做改进?
论文里虽然说这是机器下棋的终极版本,谷歌说以后也不会再更新这个系统了(毕竟已经远超人类冠军的水平,没动力再改进算法)。但是我觉得这个模型还有些啰嗦,模型的输入是棋局,输出是候选落子的概率及落子后的胜率。最终的版本不需要评价落子后的概率,而是直接以候选落子概率最大点作为输出。