ezb_233-CSDN博客

原创强化学习李宏毅上课笔记（一）

这是因为假如某个动作带来的回报很大，但是没有被抽样到，此时其他的动作带来的回报就会变得更大（抽样更多）。此时设置b为baseline，让其他回报小但抽样多的动作，得到的是负回报，这样最终的结果可以趋向于真实值。的梯度，举个例子，当奖励是正的，说明这个策略是好的，那么就让当前的趋势，也就是奖励。基于策略的，mm输出是下一步的各种可能的期望，从而直接做出策略，该怎么走。基于值的，mm输出的是当前状态到终点可以获得的奖励（R）的期望。我们会认为执行动作b可以带来3的回报，与预期不符。保持这样的趋势，就是加上它。

2024-08-19 16:25:00 566

原创 win mlagents安装和基础示例

查阅资料，这大致是因为python的版本过高，而一些依赖包没有对应的whl文件，因此python去编译，但是没有安装vs的缘故而缺少对应的编译工具导致的。第二个报错是失败的原因，这是因为存放包的路径中存在了非ASCII字符（比如中文）导致的，如果电脑用户名为中文，可以存放在盘的根路径下。导入完成可以导入mlagents下sample下的3dball样例，如果可以正常运行即代表导入成功。安装pytorch，mlagent（python包），按照官方示例安装即可。可以去安装对应的编译工具即可↓↓↓↓↓。

2024-08-17 19:45:01 833

原创 markdown-it 实时渲染vue组件

为了实现更多的扩展性和可能，我可能会探索如果在md编写slot和prop，并正确解析的方法。请持续关注我！createAppvite的glob导入。

2024-05-09 18:59:28 1213

原创 Error: Incorrect arguments to mysqld_stmt_execute

这个错误通常出现在 MySQL 8.0.22 及其之后的版本中1。时，就会出现 “Incorrect arguments to mysqld_stmt_execute” 错误。目前，这个问题的解决方案是将参数的值映射为字符串。将本地的node项目部署到unbuntu服务器上后遇到了该问题，查阅资料得知是。所幸的是，对于替换字符串的方法，我们有更优雅的解决方案。这个包在特定mysql版本下的bug。通过一个包装，就可以避免错误。系统：unbuntu 20.4。环境：mysql8.0.36。

2024-05-08 23:45:56 288 1

原创 prismJS源码解读 - 插件篇 - linehight插件集成markdown-it

至此我们的所有功能都实现完毕了。你也可以去扩展更多的功能，比如增加一个表示修改样式的高亮。接下来我打算将prism搁置一段时间，去探索一下codemirror以及扩展自己的博客功能，我仍旧会将自己的心得体会进行分享，请持续关注我！我的博客。

2024-05-08 20:50:22 1044 1

原创 PrimsJS源码解读 - 插件篇 - line-highlight

我打算开一个新坑，关于codemirror的，这是一个编辑器，不过我不算很精通。我发现我写博文能激励我去深挖其知识，开新坑的目的也是如此。等我消息吧！我还会继续结束prismjs，请持续关注我！完整代码。

2024-05-08 00:17:32 823 1

原创 PrismJS源码解读 - 插件篇 - prism-line-number

写作本篇文章的契机是在制作博客的fence(代码块)换行插件的时候，发现了一些问题，由于bug已经改进，无法重现。请先确认右上角换行按钮处于开启的状态(深色)，接着你应该很容易注意到每个行号不仅仅只占据自己的一行，它包括了换行在内的所有行。在prism中称作软换行。但是vuepress的原生插件并没有实现类似的功能。偶然的契机让我发现了prism的这个特性，毫不犹豫的选择替换掉vuepress。接下来我可能会去探索高亮插件的源码，希望持续追更我的文章。希望我也可以能手握火把，探索黑夜。@FFFF。

2024-05-06 22:08:53 1043

m0_74304054的博客