- 博客(12)
- 资源 (5)
- 收藏
- 关注
原创 linux epoll与select
每次调用select需要把线程x放在所有需要监听的socket的等待队列中(一次遍历),每次有数据接受了,需要把所有socket等待队列中线程x去除(二次遍历),select返回后,程序不知道哪一个socket有数据,需要再次遍历(三次遍历)调用epoll_ctl时,socket等待队列会添加该eventpoll, socket有数据时,系统会操作eventpoll对象而即 将有数据的socket天记到eventpoll的就绪列表里rdlist, 并唤醒进程。
2024-09-03 19:42:25
842
原创 Generative Adversarial Imitation Learning(Gail) 论文阅读
原版:对于agent做出的动作a,r(s, a) = − log(1 − D(s, a)) ,被判别器判定越接近专家行为,奖励就越大,这种方式适用于有生存奖励的RL环境,比如说Atari游戏,但对于想尽快结束的环境可能不适合,如果用这种方式也需要结合环境原本奖励并把Gail奖励的系数调低。相较于PPO 其需要一个额外的判别器D,D的作用是用来区分agent做出的动作和expert做出的动作,越接近于expert的动作 D的输出越接近1.Gail是一种使用PPO更新方法的模仿学习,
2024-08-14 21:37:40
551
原创 MC方法与TD方法区别
因为其更新是使用G来更新, G是一个真实从环境的值,需要获得完整的episode之后才计算得到,但获取这一条episode本身是一个概率较小的事件,所以这是一个高方差的更新,如果G是当前状态下获取之后所有奖励的期望,那么这个公式就是偏差和方差都为0的更新,但获取G的期望是一个很难的事情,需要遍历从当前状态所有episode的可能。其中G为当前状态到episode截止所有reward之和,Q-learning base 的方法经常使用MC方法来进行更新。上面是TD(0)的更新,TD(n)等同于MC的方法。
2024-08-14 21:36:40
470
原创 VS code justmycode = false 无效
VS code justmycode = false 无效1.90版本VScode 有bugg,暂时退回1.89版本可用https://code.visualstudio.com/updates/v1_89
2024-06-11 11:49:38
277
原创 “from torch._C import * ImportError: DLL load failed: 找不到指定的程序”
from torch._C import * ImportError: DLL load failed: 找不到指定的程序” , python版本从3.6.0–>>3.6.5解决问题。
2023-11-27 22:17:53
211
1
原创 虚拟环境找不到包,“ImportError: cannot import name ‘XXX‘”
这个运行配置里面也可以选择虚拟环境,结果就是 你运行的代码是基于这个运行配置里的虚拟环境 而不是你项目设置里的虚拟环境,所以明明装了包,pip list也可以看到,甚至写代码 import 也不会报错,但代码已运行就会报错。
2023-11-23 22:16:47
393
原创 Tensorboard 奇怪错误 解决 ‘utf-8‘ codec can‘t decode byte 0xd6
Tensorboard 奇怪错误 解决 ‘utf-8‘ codec can‘t decode byte 0xd6。
2023-04-24 16:25:24
720
4
原创 未找到.NET Framework v3.5 Service Pack1.若要以“.NET Framework v3.5 Service Pack1“为目标报错 解决方法
网上说是安装.NET Framework3.5,但安装起来很麻烦。这里将解决方案》项目文件》右击属性》应用程序》目标框架改为.NET Framework4可以使用
2021-07-29 14:06:32
2131
华中科技大学自动化学院智能控制试卷2020
2020-05-29
华中科技大学自动化学院DSP原理及应用2020试卷
2020-05-29
华中科技大学功率电子技术2020考试试题A卷.doc
2020-05-29
华中科技大学自动化学院2020计算计网络试题.pdf
2020-05-29
华中科技大学自动化学院自控原理II2020试卷
2020-05-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人