crud_player的博客

原创 绘制eps格式的实验结果图

IEEE eps 画图

原创 seaborn绘制heatmap

seaborn绘制heatmap

原创 GUI自动化测试工具Sikulix的安装和使用

ubuntu系统上基于python语言的GUI自动化

原创 Virtual Box 安装Ubuntu虚拟机以及配置

virtualbox虚拟机安装和配置

原创 Win11使用WSL2安装ubuntu，ubuntu桌面配置，ubuntu子系统删除

Win11， WSL2， Ubuntu， 桌面配置，安装与卸载

原创 Markdown基础语法

Markdown 基础语法文章目录Markdown 基础语法一、文字(1). 斜体(2). 粗体(3). 斜粗(4). 下划线(5). 高亮(6). 删除线(7). 上下标(8). 表情(9). 转义二、功能(1). 表格(2). 引用(3). 列表(4). 代码(5). 分割线(6). 超链接(7). 插入图片(8). 图流程图饼图(9). 公式三、其它(1). 换行与换段落(2). 区域元素*(3). 脚注(4). 图床*一、文字(1). 斜体​ 用*或_包起来或者Ctrl I, 斜体(2)

原创 Unity导出exe时遇到的两个问题

Unity导出file->build settings->build平台、目标平台、x86_64 这三样按照自己电脑选好就行，默认就是对的。遇到的问题报错'The member 'CameraSensorComponent.camera' does not hide an accessible member. The new keyword is not required.'这是说你从camera继承的时候不用new这个关键字，找到对应的代码，把new去掉保存即可。// CS0

原创 英文会议口头报告（整理）

下下周将要做ICCT2021的口头报告，查到了一些经验贴，读后很有收获。1.如何做好学术会议英文口头报告https://zhuanlan.zhihu.com/p/3541592542.做好“国际学术会议报告”的几点技巧 http://blog.sciencenet.cn/blog-1200905-910324.html3.如何在学术会议上做好口头报告？ http://blog.sciencenet.cn/blog-1344333-856400.html4.【学术】进行一场“认真准备的学术汇报” ht

原创 关于xlrd不支持xlsx格式的解决办法

最新版本的xlrd，在用pandas导入xlsx格式文件时，会报格式不支持的错误。解决的办法有两种：如果能方便的安装包，就直接退回到1.2.0版本： pip uninstall xlrd pip install xlrd==1.2.0如果是内网机，没有权限安装或者安装起来比较麻烦的话，可以把xlsx文件改成xls文件。需要注意的是：直接改后缀还是会报错。所以需要把该文件用Excel打开之后另存为xls文件才能读取。此外，在高版本的xlrd下用pandas把数据写入xls文件，再读的时候也

原创 解决pycharm突然全屏时的卡崩

  之前一直觉得pycharm打开之后会变卡（尤其是隔一段时间后突然点开，图形界面都卡崩）是因为我8g内存不够，尤其是我谷歌会开很多界面。但是在加了一个内存之后，pycharm还是会卡顿。搜索之后才知道原来pycharm默认的内存设置是比较小的（为了能在最低配置的电脑上运行），所以如果项目变大之后是需要手动调整内存设置来使软件不卡。首先是pycharm打开file->settings->Apperance&Behavior->Apperance, 勾选Show memory i

原创 pandas数据处理常用命令

原创 使用SQLyog把.sql文件导出为带表头的csv文件

1.SQLyog Ultimate官方版是一款使用相当简单、功能极为强大的数据库管理软件。十几兆很快就能下好：下载地址2.打开之后先新建连接，然后输入mysql设置的密码，建立连接即可。这一点与其他的图形界面软件一致。3.在下图左边的新连接这一栏里，右键创建数据库，然后双击名字选中这个数据库4.点击画红圈的这个执行sql，选择要执行的文件5.执行完后，展开数据库下面的表，发现表h，右键打开表。6.在右下角这一栏里就是打开的表，在这一栏任意位置右键，选择导出表中的所有数据行。7.选择csv格

原创 关于深度强化学习框架的选择

  入门深度强化学习之后，如何学习经典论文的代码是一个问题。一方面可以通过github上搜索解决这个问题，但质量参差不齐，尝试之后无法跑通会浪费大量时间；另一方面许多优秀的团队开发了深度强化学习的开源框架，结合文档，可以很快上手，阅读源码也可以学习优秀的代码风格。  我也面临学习强化学习算法代码的问题。今天看到一篇分析各种强化学习框架的文章（该文章发布于2019年）：A Comparison of Reinforcement Learning Frameworks: Dopamine, RLLib, Ke

原创 bellman operator 和bellman equation概念区分

在阅读强化学习相关的论文时经常会遇到bellman operator和bellman equation，例如：状态动作值函数的贝尔曼等式：状态动作值函数的贝尔曼算子：那么这两个东西到底有什么区别呢？首先给出结论，这两个东西的等价的。证明如下：vπ(s)=∑a∈Aπ(a∣s)(Rsa+γ∑s′∈SPss′avπ(s′))v_{\pi}(s)=\sum_{a \in \mathcal{A}} \pi(a \mid s)\left(\mathcal{R}_{s}^{a}+\gamma \sum_{s^{

原创 最详细的distributional RL 解读

读完有一种豁然开朗的感觉，强推！https://mtomassoli.github.io/2017/12/08/distributional_rl/

原创 五、pytorch的中阶API：2.模型层、3损失函数

2.模型层：pytorch的nn.module下有内置模型层，也可以自定义模型层。实际上，pytorch不区分模型和模型层，都是通过继承nn.Module进行构建。3.损失函数注意Pytorch中内置的损失函数的参数和tensorflow不同，是y_pred在前，y_true在后，而Tensorflow是y_true在前，y_pred在后。回归nn.MSELoss二分类nn.BCELoss多分类nn.CrossEntropyLoss自定义Pytorch中的

原创 五、pytorch的中阶API：1.Dataset 和 DataLoader

Dataset：定义数据集，类似列表的数据结构，__len__方法和__getitem__方法，具有确定的长度，能够用索引获取数据集中的元素。DataLoader：按batch加载数据集，实现了__iter__方法的可迭代对象一，Dataset和DataLoader概述获取一个batch数据的步骤：确定数据集的长度采样出batch大小的索引按索引找到对应的样本把样本的数据和标签整理为两个张量输出步骤1和3分别由Dataset的__len__和__getitem__实现，步骤2是由DataL

原创 python列表的负数索引

不管索引是正的还是负的，从左边界到右边界一定是从小到大、从左往右的。负数只是说，定位的时候从后往前数。负数索引是从-1开始的>>> a=[1,2,3,4,5,6]>>> print(a[-2:])[5, 6]左边界索引值小于右边界索引值>>> print(a[-2:-1])[5]...

原创 四、pytorch的低阶API：3.nn.functional 和 nn.Module

1.nn.functional 和nn.Modulepytorch和神经网络相关的功能组件（激活函数、模型层、损失函数），大多封装在torch.nn下。这些功能组件既有函数形式（torch.nn.functional）的实现，又有类形式（torch.nn.Module）的实现import torch.nn.functional as Ffrom torch import nnF.relu、F.sigmoid、F.tanh、F.softmaxnn.ReLU、nn.Sigmoid、n

原创 四、pytorch的低阶API：2.张量的数学运算

本文是对eat pytorch in 20 day做的笔记标量运算标量运算的特点是对张量逐元素运算+、-、*、/、**、%、//、>=、&、|、……torch.sqrt()#开方torch.round(x) #保留整数部分，四舍五入torch.floor(x) #保留整数部分，向下归整torch.ceil(x) #保留整数部分，向上归整torch.trunc(x) #保留整数部分，向0归整torch.clamp(x,min,max)#幅值裁剪向量运算向量运算符在

原创 四、pytorch的低阶API：1.张量的结构操作

创建张量torch.tensor(list,dtype)torch.arange(start,end,step)torch.linespace(start,end,len)torch.zeros(tuple)torch.zeros_like(tensor)torch.ones(tuple)torch.ones_like(tensor)torch.fill(tensor,value)#把tensor填充为全部是valuetorch.rand()torch.randn()torch.n.

原创 pycharm打开之后闪退

今天在打开pycharm的时候一进去就闪退，解决办法如下：管理员身份打开cmd输入 netsh winsock reset，回车重启电脑

原创 详解pytorch中的torch.rand、torch.randn、torch.normal、torch.linespace

区分上述四个函数：1. torch.rand#均匀分布采样torch.rand(*sizes, out=None) → Tensor#*sizes指定张量的形状、out指定数据存储的位置import torcha=torch.rand([3,4])print(a)'''tensor([[0.7305, 0.5913, 0.0737, 0.5401], [0.9628, 0.0018, 0.7095, 0.7052], [0.2917, 0.1240, 0.

原创 二、pytorch核心概念：3.动态计算图

本博客是阅读eat pytorch in 20 day第二章的个人笔记动态计算图计算图由节点和边组成，节点是张量和函数，边表示依赖关系。动态的含义是，前向传播时每一步会立即得到计算结果，反向传播后计算图会立即销毁。function同时包含正向计算和反向传播的逻辑，比如relu函数：class MyReLU(torch.autograd.Function): #正向传播逻辑，可以用ctx存储一些值，供反向传播使用。 @staticmethod def forward(c

原创 二、pytorch核心概念：2.自动微分机制

本博客是阅读eat pytorch in 20 day第二章的个人笔记自动微分机制1. 利用backward方法求导数backward方法求梯度，梯度结果存在变量的grad属性下。因变量需要是标量，如果计算结果不是标量，需要点乘一个同样大小的全1矩阵变成标量，需要把这个矩阵传入到backward里面。y.backward()# y是标量y.backward(gradient = gradient)# y是非标量#也可以先计算成标量，再backwardz = torch.sum(y*gradi

原创 二、pytorch核心概念：1.张量数据结构

本博客是阅读eat pytorch in 20 day第二章的个人笔记1、张量数据结构1. 张量的数据类型首先，是数据类型的分类：float: torch.float64 torch.float32 torch.float16int:torch.int64 torch.int32 torch.int16 torch.int8其它：torch.unit8 torch.bool其次，数据类型的转换：torch.tensor(数据)如果未规定类型，则自动推断数据类型。整数默认为torch.int

原创 实现多个虚拟环境在jupyter notebook中切换

有两种方法nb_conda:在base环境里下载nb_conda，然后在每个虚拟环境里还需要下载jupyter。详见 https://zhuanlan.zhihu.com/p/139776843ipykernel：只需要在base环境装一次jupyter，然后在每个虚拟环境里下载ipykernel。详见https://blog.csdn.net/u012428169/article/details/103046857我是两种方法都尝试过：上面四个kernel是使用方法二得到的，下面四个是方法一

原创 jupyter notebook 出现unexcepted error while saving file…… display_priority.j2 导致无法保存

jupyter notebook 出现unexcepted error while saving file…… display_priority.j2 导致无法保存点击保存时弹出上述错误，此时返回anaconda prompt，可以看到提示错误原因：jinja2.exceptions.TemplateNotFound: display_priority.j2；以及错误地址：……templates\compatibility\display_priority.tpl打开这个文件：可以看到两

原创 安装Atari模块

很多benchmark算法都是在Atari游戏上做实验，所以有必要学习使用Atari游戏环境做强化学习。这里说一下安装Atari游戏模块的方法以及安装中遇到的问题安装步骤pip install gym[atari]pip uninstall atari_pypip install --no-index -f https://github.com/Kojoley/atari-py/releases atari_py第一步做完后也会安装atari-py-0.2.6,然后在运行 import gy

原创 jupyter notebook 启动错误以及kernel error

@Anaconda 卸载后重新安装导致jupyter notebook出现的问题我是把旧版本的Anaconda从C盘卸载后，又在D盘安装了新的。第一个问题是jupyter notebook打不开在anaconda prompt 输入jupyter notebook 后报错： Bad config encountered during initialization. The ‘contents_manager_class’ trait of <notebook.notebookapp.Note

原创 jupyter notebook 打开md文件后没有运行按钮

jupyter notebook 打开md文件后没有运行按钮jupyter notebook是一个比较比较不错的网页版python编辑器，但是，由于很多“技术文档”都是直接以markdown(.md格式的文件)的格式编写的，而且jupyter notebook的代码文件(.ipynb)也可以转换成.md格式的文件，更为重要的是，我们从github上下载的很多学习资料也都是.md文件格式的。因此，为了能够在jupyter notebook上实现：使用jupyter notebook浏览技术文档；将转换

原创 深入浅出强化学习代码复现一：多臂赌博机

多臂赌博机 一台机器有多个不同的臂，摇动不同的臂会吐出不同数量的金币（服从一定的概率分布，要同样的臂也只是依概率吐出金币），要解决的问题就是通过什么样的策略摇臂，能吐出最大数量的金币。思路就是边摇边学，用每个臂平均每次摇动吐出的金币判断摇这个臂的好坏。但这个臂只是目前来看最好的，不能保证一直是最好的，所以接下来摇臂的时候主要是摇目前最好的臂，但也要有一定的概率摇到别的臂。即利用（exploitation）和探索（exploration）平衡的策略。常见的EE策略e-greedy策略Bol