深海沧澜的博客

距离上次随笔一月有余。这一月事务繁多，再次被枷锁所束缚。事情也有意料之外，一步一步的推进布局。小的失利与黑暗并不影响事实的彰显。大的舞台可以证明。文档的编写已经初有思路。万望后续顺利，坚持本心。...

距离上次随笔已经将近2个月，时间真的间隔了太久太久。首先是7月初的研电，评委RL=DL的荒诞场景。又经历了7月中旬赛季的爆发期。再到了7月下旬的回家休养期与网评期，研电进入国赛，实属兴奋。8月初疫情加重，返校时间推迟，休息时间增多一周，打了打游戏，看了看剧。8月中旬返校，研电国一圆了多年的竞赛梦，小组第一个出场，却能荣获此佳绩，实属不易，也幸于评委的看好，也给后续创造了无限可能。同时指导的多项，战绩良好，希望善战者无赫赫之战功。8月底天降意外，周遭兄弟至亲去世，感受到世事无常...

上半年的最后一天，回顾这半年，在某些地方相比去年有所进步，开始尝试一些新的领域。网络上常说内卷严重的时代降临，研三的学长学姐们近期离校，广阔天地，大有作为。6月底，陆陆续续诸多结果，整个月预如学期刚开始的一样，乃是最忙碌的一个月，伴随着项目、竞赛、考试。今日修完硕士生涯中最后一门学校要求的课程，便可全身心进入科研。这一个月百感交集，硕士生活仅剩2年的时间，且看未来。...

距离上次随笔大概10天有余，但感觉好像过了很久，可能这就是生活对于时间的流逝的体验吧。RL的SDV初代版本涉入竞赛，均获赛区二等，意料与情理之中，还需要长时间的打磨。6

将近一个月都没有写过随笔了，最近事务繁忙。首先因为期中考试，延误了许多事情的时间，其次是英语六级，正在准备当中。许多事情在定下来之后，可能由于时间的流逝而

时间只负责流动，不负责成长。可能因为这个月有点事情做，过的很快，仿佛清明节就在昨天。事情在按计划进行，希望不必要的事情可以减少吧，无论是研学会还是实验。初稿均已完成，需要以实力为基础加以时间打磨。休息2天静静思考一下，创新的工作发展，真正的target。...

时光过的真快，转眼间就到了4月17日，如果不是看了一眼上次更新的日期，都没发现将近3周没有记录了。如预期一样，在4月14日完成了初版的开发，事情在一步一步的推动。明显能感觉得到，在事情上有一些懈怠了，超出时长，这种低级错误无话可说，更是该好好反省。最近几天在统筹规划事情的发展，要分配好各项事务的时间，最近一周集中解决材料问题。未来安好！...

复试结束，我带的学妹成功上岸末流985，她也比较幸运，也对自己的实力有清晰的认识，希望来到学校的生活和科研也可以一帆风顺吧。这一周发生的事情实在是越来越多了，屠龙少年的故事历历在目，犹如漫无边际的黑夜，星星失去了光亮，夜晚又长又黑。没想到这一周过的很快，科研取得了一点进展，规划的重要性不言而喻，一步失，可能步步失。攻城略地，步步为营，大象无形，大盈若冲。...

去年本科毕业后，机会巧合，机构联系到我，带了一个女生考研，正在准备复试，周末复试结束知道结果，作为她的老师和学长，希望她可以通过吧。不得不说，她择校相对客观冷静，选择了末流985，相比很多人报考的炸穿地心，可所谓理智了许多，炸穿地心的地方，初试你能过，还有复试需要考虑。但是可能是初试成绩的相对不错，复试阶段有了许多懈怠，意料之外，情理之中。距离上次博客已两周有余，模块初始化已完毕，离这个月还有一周结束，最低期限4月15日，边做东西边写材料，长远考虑。材料的引用部分要慢慢更新，本科两年的ACM

终于感冒好了，大约在两日以前，感冒的时候太难受了，没有一点思考能力，现在终于恢复了。小记一下未来的事情。这个月时间受限制比较小，可能比较自由，故正在设计一套方案，希望这个月可以搞完，影响着未来的部署。只希望未来越来越好，部署可以成功，弥补遗憾。...

为后续的研究先做资料的铺垫，如果错误，欢迎指正Arduino智能小车——测试篇Arduino 智能小车-电机控制delay 延时处理：delay（10000）某个操作运行10秒后再进行其他操作

已步入三月，可惜的是忘了冬春换季，不慎感冒了，大意了。每逢这个时候，都容易感冒，去年疫情一直呆在家，没有发生感冒，今年竟然忘了注意。二月休息了整整一个月，在月底的时候感冒了,相当于白休息了，感冒是一种身体上的累赘，做事情有心无力的那种感觉，希望赶紧好。总结一下近期的事情吧。首先是考研计算机的“内卷化”，21届的题目相比20届的题目，因为疫情维稳+奇数年的关系，可以说试卷难度基本是全面下降（高考全国卷一难度降低分数线上涨也是同理），不过个人认为试卷难度下降并非一件好事，带来的弊端：分数过高，使得往

1.运行环境Windows 10MatlabR 2018bPython 3.7Tensorflow2.02.简单的函数调用matlab程序：列出了Python信息，如版本、路径等，表示能正常检测到Python。其中isloaded表示是否已加载Python，如果执行了Python语句或调用了Python模块，isloaded就变为1>> pyversion version: '3.7' executable: 'F:\software\env

终于赘述这一年来的经历。1月，考研租房结束进行期末考试，租房期间遇到了种种恶心的人和事情，透过现象看本质，自己对自己负责，在逸夫楼休息的时候，看了《睡在我上铺的兄弟》这部电影，回想起了本科3年半的时光，还好有剩下的半年时间去体验，可谁曾想到新冠疫情爆发打乱了所有人的安排和计划。在离开学校的前一刻，收到了导师让去拿物联网大赛一等奖第一名的获奖证书，天道轮回。幸亏是飞机回家，没有路过武汉（高铁和火车回去是要路过的），回到家后，可能是考研期间独自一人在小黑屋复习了3个月，看了很多电视剧，大概20多部。2月

1.离散动作VS连续动作离散的动作：游戏的操作动作可数，例：向上下左右连续动作：输出的动作不可数 例：推锤子推的力，转方向盘2.DDPGDQN->DDPGActor-Critic结构（评论家-演员）目标网络target network+经验回放replay memory...

1.蒙特卡洛与时序差分蒙特卡洛在一个回合(epsiode)结束后再进行更新，时序差分在每一步(step)进行更新2.蒙特卡洛因为未来总收益Gt和Gt+1存在一定的关系，所以从后往前算，先算G3再算G2然后G1利用神经网络理解Policy Gradient手写数字通过神经网络识别，可以看出手写数字是9，更希望神经网络识别出也是数字9，这里利用交叉熵（Cross Entropy）计算2个概率之间的差值Policy Gradient预测每个状态state输出动作

1.value-based 与policy-based2.softmax函数3.举例：策略网络输入的是整个图像（向量或矩阵），输出的是3个动作的概率（向量）代表策略输出的概率，在状态s下选择a的概率，由于环境的随机性，不同的策略到不同的环境，这个概率用p来表述，称作状态转移概率。代表智能体在环境s选择动作a后有多少概率去s'（智能体的选择是可以优化的，环境的随机性是无法人为控制的）期望回报：在正常的情况下不会穷举所有的轨迹，且环境转移概率也不易计算，所以当

1.DQN的2个创新点经验回放（Experience）：样本关联性 1）序列决策的样本关联 2）样本利用率低固定Q目标： 非平稳性 1）算法非平稳2.经验回放：利用off-policy的优势战斗过程是一个经验池（固定长度的队列），这样的一条经验是士兵和环境交互得到的：当超过经验池的容量后，弹出一条旧的经验，腾出新的空间。军师为了打乱经验池，随机从经验池中抽取数据更新表格。好处：1）打乱样本关联性 2）提高样本利用率相关代码：3.固定Q目标监督学习：输入x，目的

1.函数逼近可数的状态可用Q表格表示，但在实际中的应用状态的数量级十分大，所以可采用值函数近似。2.神经网络输入训练数据，输出结果神经网络可用逼近任意连续函数神经网络代码举例：3.DQN 使用神经网络求解RL问题中的经典算法DQN的本质为Q-learing，从environment中获得state，通过查表，获得Q值及动作，然后输出给环境，拿到下一个state和reward。DQN的改进在于直接把Q表格换成神经网络4.监督学习其训.