算法实习生学习之路--UCB算法

前言：

      来万物花开这家创业公司实习，也真是一波三折。先实习了三天，每天下午到公司工作到晚上。工作时间是每天下午到晚上9.30。结果每天上午没法用心干实验室的活了，下午在公司工作的时候，总是提心吊胆，手机震动一下就会立刻拿出来看看是不是老师找我了。这样的日子感觉没法持续下去，想找导师谈谈之前，就从实验室同学那儿知道了老师对我最近的出勤率太低很不高兴。想着还是找找导师谈一谈实习的问题吧，然后还在犹豫的时候，大boss就找我谈话了，退学or干活。于是只能拒绝了实习，安心回实验室吧。

意外的是，创业公司带我的老大陈开江师兄念在是北理工的同门师兄弟上，加上我对于转互联网方向的决心强烈，决定给我一个机会，每周一到周五晚上干活，周末拿一天时间出来交流，就算我实习三天了。只能说太感谢陈开江师兄了，让我在这么恶劣的条件下还给我实习的机会。

我的github：

我实现的代码全部贴在我的github中，欢迎大家去参观。

在作为算法实习生时，所实现的代码产权应该属于公司，所以在github中公布的代码可能会缺少一部分，或者比较简单，不涉及业务。

https://github.com/YinWenAtBIT

算法介绍：

背景介绍：

一、问题模型：

Multi-armed bandit问题，中文译名或叫做“多臂赌博机”问题。

在概率论中，多臂赌博机问题（有时也称为K臂/N臂赌博机问题），是一个赌徒需要在一排老虎机前决定拉动哪一个老虎机的臂，并且决定每个臂需要被拉动多少次的问题。每台老虎机提供的奖励是与它自身的奖励随机分布的函数相关的。赌徒的目标是最大限度地通过杠杆拉动序列，使得获得的奖励最大化。