2019/11/2 日记

2019/11/2

本来想说早上去搞好树莓派的环境，结果协会没有网络了，回到宿舍也没有hdmi转接口，所以今天就不弄了，开始学习DRL。

很久没有学习DRL了，上次看到了第五讲，讲到policy gradient。然后开始做作业，把policy gradient前的imitation learning的代码看懂了，就是一个神经网络用监督学习的方法去学习相应的情景下的动作，但是这效果可想而知很差，因为总会有训练集中因为误差而到达的从未见过的观测，当然也会有一些小tract，比如有些学校就在如自动驾驶的任务中，在获取数据的过程中使用三个摄像头，左右两个摄像头观测有误差偏移后图像会带来的观测，并且予以一定的修正。但是不论如何，imitation learning的应用场景总是少的惊人。（在imitation learning的基础上，还出现Dagger算法，就是每一次决策输出的观测序列进行专家校准，然后再并到训练集，这种做法虽然效果比Imitation learn好，但是太累人以及还是有那些没考虑到马尔科夫性的毛病等）

呼呼呼，累死了，今天下午本来就是想翻译下DRL里的hw2_instrction的内容，放在csdn上，但是因为涉及太多数学公式，我就默认自己的文本编辑方式是markdown了，这样虽然不需要用鼠标来点击数学公式编辑器了，但是还是需要比较好的记忆可以把LaTex的语法记住……不过，孰能生巧，如果记不住就去这里：

吴文中 数学公式编辑器

查一下就好了，然后久而久之自己的水平就上来了。（对了之前还说除了写csdn还要跟上github，虽然……并没有什么程序可以上传，有些程序都是不能看的……还需要继续提高自己的代码能力阿）

= = 但是为写一行的公式就要花费超多时间，我开始怀疑需不需要在blog中写LaTex

不写了不屑了！太SB了 = = 花那么多时间写两行

2019/11/3

今天早上去协会了，边装系统边写csdn，因为网速很慢，系统环境花了很长时间弄，下午四点才配置好，有了demo，虽然差不多有一秒的延迟，但是至少有东西了。至于csdn，我发现之前也是来来回回只学了q-learning和sarsa，这两个的demo虽然还没有完全掌握，并且由于算法比较简单，只涉及到gym的使用，如果要下一步的话1.分析Q-learning和sarsa的代码，以及学习gym2.复习policy gradient、完成hw2、并且分析莫烦PG代码。

不过今天树莓派车牌识别弄好之后还是打算把JAVAEE做一下，给某个家伙减负（当然还好，他的重心现在不在JAVAEE，应该在顺利过了这学期的课）

把NCBDC放到github上把，当作自己的第一次（虽然之前有一个XA机器人的工程 = = 不能看）github项目。然后因为windows最近不知道为什么上不去github了，需要改host，如下，结果我找半天修改hosts的方法（修改权限以及使用管理员打开notepad，结果到后面直接复制到桌面修改之后复制到C:\Windows\System32\drivers\etc就好了？ = =MDZZ

#github
192.30.253.113 github.com
192.30.253.113 github.com
192.30.253.118 gist.github.com
192.30.253.119 gist.github.com
顺便一提我的github账号是我的扣邮，密码是带名字的传统

搞好了github之前的NC名字以及不雅观的repository之后，可以开始学习git并且将NCBDC的代码传上去了

2019/11/4

今天一早上按照教程搭建SSH的idea工程，但是总是遇到磕磕绊绊，= = 到后面配置xml以及具体与SSH相关的文件或者代码，就不行了，javaEE老师真害人啊，上又不认真上，结果最后要求七七八八，为什么大学里总会有些老师自视甚高 不好好教课呢……不过下午按照https://blog.csdn.net/sysushui/article/details/73722870?locationNum=11&fps=1此处的方法做了一个demo，一开始创建好是连index.jsp都上不去……第二次宇鹏弄好了，虽然上去了，但是登入就报错，报错空指针，经过查看我怀疑是没有注入依赖，但是因为老师上课都不喜欢好好讲，对Spring的依赖注入也只停留在demo阶段……最后去教程提供的github上clone下来才跑通。害，害死人了。

晚上闲的没事，上bilibili又看了一遍大一拍的历史剧，说实在，那段时光是大学里面最开心的一段时光了把，人呐，就是需要去创造回忆，小小辛苦小小累不算什么，主要是一定要让老了的自己有值得怀念的记忆，纵使老时家财万贯，那些美好的日子才是这辈子最需要珍惜的。