- 博客(21)
- 收藏
- 关注
RSS订阅原创 GAE 算法
欢迎来我的博客查看原文章! https://yunist.cn/ML/RL/primer/GAE/准备众所周知, 策略梯度有多种写法, 总的来说, 在保持策略梯度不变的情况下, 策略梯度可以写作g=E[∑t=0∞Ψt∇θlogπ0(at∣st)](1)g=\mathbb{E}\left[\sum_{t=0}^{\infty}\Psi_t\nabla_\theta \log\pi_0(a_t\mid s_t)\right]\tag{1}g=E[t=0∑∞Ψt∇θlogπ0(at∣st)
2020-08-05 17:09:47
2756
原创 Intro to Policy Optimization 代码详解
本篇文章是 OpenAI Spinnging Up 中 Part 3: Intro to Policy Optimization 中代码的学习笔记, 原文在 https://spinningup.openai.com/en/latest/spinningup/rl_intro3.html , 代码在 https://github.com/openai/spinningup/blob/master/spinup/examples/pytorch/pg_math/1_simple_pg.py .先给出代码i
2020-06-25 11:20:51
2574
原创 行列式几何意义的证明
行列式具有良好的性质, 通常它是线性代数中较为基本的内容. 而行列式有非常直观的几何性质, 其绝对值是以矩阵中的向量为棱的在标准正交基下的平行四边形 (六面体) 的体积, 当维数超过三维时, 有类似的结果, 我们可以称其为 “广义平行六面体” 的体积. 我们给出广义平行六面体体积的一个递归定义. 设 AAA 为 n×nn\times nn×n 矩阵, 其中第 kkk 行向量 LLL 即为广义平行六面体 VVV 的一个棱,[⋮Lk⋮]\newcommand\xrule{\rule[.5ex]{2em}{.
2020-05-30 17:48:35
3381
原创 Hexo 魔改主题 butterfly
欢迎到我的博客查看最新文章: https://blog.clouder.im所有魔改均可取消! 配置默认不开启, 因此可以平滑换到魔改 butterfly 主题.首先推介 butterfly 文档, 这里只介绍魔改部分的配置. 这里的示例仅为合法示例, 即你填了该示例不一定能正确显示, 仅供参考.魔改主题 Github 地址使用主题 & 平滑更换下载并配置进入主题目录, 下载主...
2020-05-07 22:56:08
1839
原创 解决 Hexo 配置 Valine 报错问题
mathjax: falsedate: 2020-03-02 10:41:39title: 解决 Hexo 配置 Valine 报错问题tags:Hexo搭建站点问题Valinecategories:[Hexo]cover: problem_in_Valine.jpg解决报错:Code: undefined [410 GET https://avoscloud.c...
2020-05-03 13:43:12
2288
原创 仅引入 js 实现博客 cdn 加速
欢迎到我的博客查看最新文章: https://blog.zplayer.cloud前提博客 cdn 加速网上有很多的教程, 其中免备案, 最好用的就是 Jsdelivr 了, 我也写过一篇用 Jsdelivr 加速的文章, 但是似乎很多人一开始都看不懂如何用 Jsdelivr 加速… 这篇文章的原理也是基于 Jsdelivr 加速博文图片, 但是保留了原来的相对路径. 并且能够仅引入一个 js...
2020-04-29 09:16:42
762
原创 读懂西瓜书 16 : 强化学习
欢迎到我的博客查看最新文章: https://blog.zplayer.cloudK-摇臂赌博机探索与利用探索与利用总是矛盾的, 要使奖赏最大, 就要在探索与利用之间做好权衡.ϵ-贪心以 ϵ\epsilonϵ 的概率进行探索, 以 1−ϵ1-\epsilon1−ϵ 的概率进行利用.增量式计算令 Q(k)Q(k)Q(k) 记录摇臂 kkk 的平均奖赏. 若摇臂 kkk 被尝试了 nnn...
2020-04-25 17:19:57
289
原创 LDA 详解
先验知识Gamma 函数Gamma 函数详解Beta/Dirichlet 分布与共轭Beta 函数, Beta 分布详解MCMC, 吉布斯采样这块资料暂时自己去找, 等我有空写了 MCMC\rm{MCMC}MCMC 的教程再补上.LDA 介绍构成LDA(LatentDirichletAllocation)\rm{LDA (Latent Dirichlet Allocati...
2020-04-23 20:15:42
495
原创 解决 Hexo 本地搜索 search.xml 文件加载太慢
欢迎到我的博客查看最新文章: https://blog.zplayer.cloud问题由于不想使用第三方, 我使用了本地搜索. 但是本地搜索带来的一个问题是, search.xml 太大了, 加载速度缓慢. 如果我们使用外链 , 就可以解决这个问题.解决打开主题下的 local-search.js 文件 (不同主题的位置会不同, 但是一般都在 source/js 这种文件夹里) , 找到如...
2020-04-18 12:19:34
1091
原创 Butterfly 主题魔改记录
欢迎到我的博客查看最新文章: https://blog.zplayer.cloud记录下我对 Butterfly 主题的魔改, 一方面可供参考, 另一方面可以记录下自己的修改方便查找.post 文章侧边栏去掉滚动条文章有标题时, 左边就会出现侧边栏, 而侧边栏的滚动条实在是不太美观, 于是隐藏掉.进入 layout/includes/sidebar.pug 看到以下内容 if ...
2020-04-17 08:35:37
3749
原创 hexo d 命令后 github 无法更新问题
欢迎到我的博客查看最新文章: https://blog.zplayer.cloud问题hexo d 后查看仓库, 发现根本没有更新, 仔细观察 shell 的输出, 还会看到如下报错Branch master set up to track remote branch master from git@github.com:xxxx/xxxx.github.io.git.其中 xxxx 是...
2020-04-04 12:21:36
4972
原创 读懂西瓜书 14 : 概率图模型
欢迎到我的博客查看最新文章: https://blog.zplayer.cloud马尔可夫性本章最重要的概念就是马尔可夫性. 马尔可夫性是指变量的状态只与其前一个时刻的状态有关, 而与其他的状态无关, 称为 “无后效性” . 这里可以作一个拓展, 即指变量的状态只与其周围的变量状态有关, 这里的 ‘周围’ 既可以是时间也可以是空间.隐马尔可夫模型隐马尔可夫模型包括两条链, 一条是由可观测的...
2020-04-03 12:47:40
363
原创 史上最全的 Hexo 博客搭建配置完全指南
欢迎到我的博客查看最新文章: https://blog.cloudplayer.site本篇博客基于 Centos 7.x root 用户. 最近利用 Hexo + Github Pages 搭建了一个博客, 总体来说比较满意, 中间也踩了不少坑. 于是将我的配置过程全部记录下来, 就有了这篇博文. 关于 Hexo 搭建配置的博文网上还是挺多的, 但是零零散散, 这篇博文就当成是一个大合...
2020-03-09 20:32:36
2229
原创 numpy 中判断某字符串 array 是否含有子字符串
网上找了一大圈没找到, 还有好多错的…numpy.char.count(a, sub, start=0, end=None)该函数是用来计数 sub 在 a 中出现多少次, 我们稍加修改就能达到我们要的效果.numpy.char.count(a, sub, start=0, end=None) != 0函数的具体介绍看官方文档.举例:import numpy as npa = n...
2020-02-17 22:41:09
1996
原创 jupyter 公式渲染问题
jupyterlab\mathrm{jupyter lab}jupyterlab 中的公式有时候很丑, 想要变得好看一点, 于是找到了 jupyter\mathrm{jupyter}jupyter 中的一个插件解决该问题. 具体怎么装看官方文档. 开启插件后搜索 katex−extension\mathrm{katex-extension}katex−extension 装上, 然后等一会它会告诉...
2020-01-28 21:02:39
1031
原创 百度 AI Studio 的 notebook 字体问题
在用百度 AIStudio\mathrm{AI Studio}AIStudio 中的 notebook\mathrm{notebook}notebook 时, 发现光标会偏移, 有时字体也很难看, 浏览器怎么设置都没有用, 例如下图就是光标偏移. 然后发现了一个很好用的插件可以解决问题: Stylus\mathrm{Stylus}Stylus (怎么下载安装自己百度)就这玩意 编写样...
2020-01-26 17:13:34
691
原创 《机器学习》西瓜书习题 第 4 章
习题4.1试证明对于不含冲突数据 (即特征向量完全相同但标记不同) 的训练集, 必存在与训练集一致 (即训练误差为 0)的决策树. 既然每个标记不同的数据特征向量都不同, 只要树的每一条 (从根解点到一个叶节点算一条) 枝干代表一种向量, 这个决策树就与训练集一致.4.2试析使用 “最小训练误差” 作为决策树划分选择准则的缺陷. 4.14.14.1 说明了如果数据不冲突, 可以完全...
2020-01-26 16:31:04
3497
原创 《机器学习》西瓜书习题 第 3 章
习题3.1试析在什么情况下式 (3.2)(3.2)(3.2) 中不必考虑偏置项 bbb . 书中有提到, 可以把 xxx 和 bbb 吸收入向量形式 w^=(w;b)\hat{w} = (w;b)w^=(w;b) .此时就不用单独考虑 bbb 了. 其实还有很多情况不用, 比如说使用了 one−hot\mathrm{one-hot}one−hot 编码, 就可以不用考虑偏置项. 更...
2020-01-26 16:30:18
2319
原创 《机器学习》 西瓜书习题 第 2 章
#习题2.1数据集包含 100010001000 个样本, 其中 500500500 个正例、500500500 个反例, 将其划分为包含 70%70\%70% 样本的训练集和 30%30\%30% 样本的测试集用于留出法评估, 试估算共有多少种划分方式.如果划分要保证正例和反例一样多的话, 那么划分方式数量 nnn 有n=C500500×35%×C500500×35%=(C500175)...
2020-01-26 16:29:34
709
原创 《机器学习》西瓜书习题 第 1 章
#习题1.1表 1.11.11.1 中若只包含编号为 111 和 444 的两个样例, 试给出相应的版本空间.这应该不难理解吧，直接上表格.编号色泽根蒂敲声好瓜111青绿蜷缩浊响是444乌黑稍蜷沉闷否1.2与使用单个合取式来进行假设表示相比, 使用 “析合范式” 将使得假设空间具有更强的表示能力. 例如好瓜↔((色泽=∗)∧(根蒂=蜷...
2020-01-26 16:28:46
422
原创 机器学习 目录
《机器学习》西瓜书习题第 1 章第 2 章第 3 章第 4 章编程实例《机器学习》西瓜书 第 2 章 编程实例 ( ROC 曲线, 代价曲线的绘制, 两种规范化的实现.) 《机器学习》西瓜书 第 3 章 编程实例 (对率回归 (逻辑回归) 的实现, 10 折交叉验证法和留一法的比较, 线性判别分析 (LDA) 的实现.) 《机器学习》西瓜书 第 4 章 编程实例 (基于...
2020-01-26 16:26:47
121
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人