学习笔记
文章平均质量分 72
hehedadaq
强化、图像、机器人相关内容...
强化库:https://github.com/kaixindelele/DRLib
求star~
展开
-
Optimistic Curiosity Exploration and Conservative Exploitation with Linear Reward Shaping论文总结
(1) 首先,文章提到了均衡探索和利用所面临的探索-利用困境,以及以前研究的各种探索思路,如计数方法、好奇心驱动方法等,但此类方法有着各自的局限性。(4) 实现的具体方法包括:使用改变奖励函数的方法,连续控制任务中称为“保守性利用”,离散控制任务中称为“探究精神”,在实验中证明本文的探究方法比传统方法更有效。(3) 在本文的方法中,研究者使用了离线强化学习、在线连续控制以及单步离线好奇心探索任务,测试了不同深度强化学习任务的结果,并通过实验测试了本文方法的效果。原创 2023-03-07 17:23:28 · 535 阅读 · 0 评论 -
论文阅读新神器SciSpace(Typeset.io)测评-和AI一起进化
利用AI快速阅读原创 2023-03-06 23:39:37 · 6419 阅读 · 4 评论 -
写论文不用构建语料库!只需要福昕PDF阅读器高级搜索
New Bing会在科研方面发挥比ChatGPT更强大的辅助作用么?- 强化学徒的回答 - 知乎在写论文的过程中,经常会遇到某些术语在自己的领域该如何表述的难题。即使使用ChatGPT等工具进行润色,也很难直接指导你在专业领域中的术语搭配。最好的方法还是参考你领域内的顶会顶刊文章,查看母语作者的表达方式。通常来说,你会借助谷歌翻译,但它只能告诉你某个搭配是A,而你的大脑却模糊地记得之前在某篇论文中看过,可能是B,但记不得到底是哪篇文章。这时候,大家会想到一个叫“语料库”的古老工具。原创 2023-02-23 17:48:52 · 761 阅读 · 1 评论 -
python 科学计数法 转 字符串表述
python 科学计数法 转 字符串表述文章目录python 科学计数法 转 字符串表述前言:需求:代码:前言:好久没有写博客了,写一个今天需要的一个小玩意儿,网上没有找到一个方便的解决方案,我写一个试试:需求:输入:a = 10000.0或者:a = 1e5我想要快速获得一个它的字符串表述方法,最好不用调用函数,一两行代码就解决问题。代码:buffer_size = 12303000.0# buffer_size = 1.23e6postive_str = str(buffe原创 2022-05-09 16:21:04 · 2324 阅读 · 0 评论 -
新版GitHub客户端上传文件夹教程笔记
新版GitHub客户端上传文件夹教程笔记文章目录新版GitHub客户端上传文件夹教程笔记前言:上传文件夹步骤:前言:相信很多人和我一样,用GitHub的目的就是上传一下自己的代码,并不想学什么花里胡哨的命令行操作,搞什么版本更新管理。简单的网页上传只能上传同一个文件夹下的批量文件,但是不能把文件夹里的文件夹一起迭代上传。因此对于这种复杂需求,我们还是得想想办法。办法不是廖雪峰老师那个复杂的教程:https://www.liaoxuefeng.com/wiki/896043488029600办法是期原创 2022-03-22 16:12:15 · 1497 阅读 · 0 评论 -
三七的活血化瘀和止血机制学习笔记
三七的活血化瘀和止血机制学习笔记文章目录三七的活血化瘀和止血机制学习笔记前言:文献一:《景天三七对阿司匹林大鼠的止血活血功效及作用机制研究》三七的止血与活血机制文献二:《三七活血与止血机制及其改善肾脏病血瘀证的作用特点》三七的止血机制三七的活血机制总结:前言:最近和朋友聊到中医,我印象中最靠谱的一个偏方用到了三七,然后我在生活中试了四个人,效果都比较好。但是没有搜到合适的机制来解释这件事儿,今天上午知网调研了一下,按照他们的参考文献,不断的溯源,勉强拿到了这样一个逻辑。关于我说的偏方,由于我也不是原创 2022-02-02 17:48:10 · 822 阅读 · 0 评论 -
深度强化学习Actor-Critic的更新逻辑梳理笔记
深度强化学习Actor-Critic的更新逻辑梳理笔记文章目录深度强化学习Actor-Critic的更新逻辑梳理笔记前言:Actor-Critic架构简介:critic的更新逻辑actor的更新逻辑:前言:前几天在给师弟讲actor-critic架构更新逻辑的时候,actor的优化逻辑我卡了好一会儿,最终也没有完整的把逻辑梳理出来,今天刚好趁着脑子清醒,把之前的PPT拿出来,借着PPT的内容,将AC架构的更新逻辑说明白,特此做一个笔记。Actor-Critic架构简介:关于AC架构,还是简单的说说原创 2022-01-15 22:03:18 · 2532 阅读 · 0 评论 -
180天如何突击高考2-从465到378...
180天如何突击高考2-从465到378…文章目录180天如何突击高考2-从465到378...前言:关于遍历的策略关于英语学习的小技巧。关于其他技巧和心态的梳理关于下一步计划:前言:上次写了《180天如何突击高考-从400到550?》之后,我隐约感觉大侄子的情绪已经被暂时的成绩提升所影响,开始对学习已经有了一些超越现实的信心。说到最近考的卷子,都是感觉非常简单,但很明显上次他说的简单的卷子,也只拿了465。不出太多的意外,最近这次皖八二模就只考了378分。尤其是理化生三门课,加一起一百分左右。一原创 2022-01-02 02:39:18 · 304 阅读 · 0 评论 -
《因果推断学习》学习笔记
《因果推断学习》学习笔记文章目录《因果推断学习》学习笔记前言:学习链接:因果推断学习1 --- Simpson's paradox因果图的解析因果推断学习2 --- 相关性!=因果性因果推断学习3 --- 随机试验(最核心)总结:前言:今天看到师妹课上学到了因果推断这个知识点,关于这个点,我仅有的认知仍然是感性的,模糊的,单纯的几个概念:相关性≠因果性如果因为幸存者偏差,会导致错误归因。每一点认知,我都会关联到一些具体的例子,比如《大数据时代》这本书中的经典案例:“尿布与啤酒”,每逢周末,某原创 2021-12-16 22:47:29 · 574 阅读 · 0 评论 -
已知世界坐标和旋转矩阵,求相对坐标-详细笔记
已知世界坐标和旋转矩阵,求相对坐标-详细笔记前言:好久没有写博客了,最近实验室来了一位数理基础砸实的师弟,堵了我好几个月的问题终于解决了!今天遇到了一个关于坐标转换的小问题,我知道有解,但是凭我的数学知识,几乎是解不出来的~然后师弟说让他回去推导一下,给了我一个草稿纸,由于没加注释,我竟然看了半小时才看懂…然后认真地画了一个图,自己重新又推导了一下,妄想以后遇到类似的问题,能够有所借鉴…问题来源:在仿真系统中,有一个乒乓球拍子,和球,拍子分成柄和面两个部分,已知拍子的杆长12CM,板面半径15原创 2021-10-12 20:30:58 · 886 阅读 · 0 评论 -
图解贝叶斯公式
图解贝叶斯公式文章目录图解贝叶斯公式前言:参考链接:公式背景:以一个例子来理解先验和后验概率:贝叶斯公式:常见名词我的图:总结:联系方式:前言:老规矩,先说说为什么要写这篇博客。研一上《模式识别》和《机器学习》的时候,我是弄懂了贝叶斯公式的,当时还觉得这个简单,我理解了。但是一段时间没用了之后,我自己推导不出来了。模糊的印象就是,我当时在百度百科上找到了一个非常好的图解例子;为什么有这样的印象呢?还不是因为百度百科的信息价值一直都比较低,因此偶尔能找到一个靠谱的词条,记忆尤为深刻~重新走一遍原创 2021-03-17 20:04:07 · 7128 阅读 · 1 评论 -
如何在Google Colab中渲染OpenAI Gym?
如何在Google Colab中渲染OpenAI Gym?原文链接:https://colab.research.google.com/drive/1flu31ulJlgiRL1dnN2ir8wGh9p7Zij2t#scrollTo=pdb2JwZy4jGjinstall dependancies, takes around 45 seconds下面两个必须要提前安装好,要不然只用pip安装是会报错的~!pip install gym pyvirtualdisplay > /dev/null原创 2021-03-05 10:19:35 · 1672 阅读 · 1 评论 -
python装饰器
python装饰器【一文弄懂系列(不是)】文章目录python装饰器【一文弄懂系列(不是)】前言:参考链接:一、装饰器是什么?修饰器模板总结:前言:Python的装饰器操作,之前学的时候,直接跳过了,以为不重要。现在看别人的代码库,碰到这操作,总是觉得理解的不到位。今天做一个完整的学习笔记。参考链接:如何理解Python装饰器?一、装饰器是什么?装饰器,顾名思义,就是增强函数或类的功能的一个函数。这么说可能有点绕。举个例子:如何优雅的计算函数的执行时间?如下,你需要计算 add 函数原创 2021-03-02 22:41:09 · 126 阅读 · 2 评论 -
OpenCV 中图像坐标系统与Python中NumPy Arrays之间的关系
OpenCV 中图像坐标系统与Python中NumPy Arrays之间的关系文章目录OpenCV 中图像坐标系统与Python中NumPy Arrays之间的关系前言:参考链接:image.shape和长宽的关系:OpenCV中的图像坐标系 行列宽和高x和yPython中选取信息选取ROI对象采用切片法异常简单选取像素前言:OpenCV的坐标系和numpy的不一样,经常拿到了坐标(x, y),直接代入就会出现坐标反了的问题。而且之前只能通过临时debug来确定,我的坐标有没有对好。这就显得我很业原创 2021-01-21 20:03:59 · 1476 阅读 · 1 评论 -
为什么Q-learning不用重要性采样(importance sampling)?
为什么Q-learning不用重要性采样(importance sampling)?文章目录为什么Q-learning不用重要性采样(importance sampling)?前言:参考链接:理解过程:1step-Q-learning的定义公式:2step-Q-learning:前言:前几天在整重要性采样,然后提到的一个模糊的概念就是:在异策略(off-policy)方法中,行动策略μ\muμ即用来产生样本的策略,所产生的轨迹概率分布相当于重要性采样中的q[z]q[z]q[z],用来评估和改进的策原创 2021-01-11 12:44:55 · 3434 阅读 · 3 评论 -
重要性采样(Importance Sampling)详细学习笔记
重要性采样(Importance Sampling)透彻学习笔记文章目录重要性采样(Importance Sampling)透彻学习笔记前言:参考主体:on-policy 和 off-policyOn-policy:Off-policy:重要性采样重要性采样后方差的变化-公式推导前言:重要性采样,我在众多算法中都看到的一个操作,比如PER,比如PPO。由于我数学基础实在是太差了,每次看都是迷糊过去,希望下次能看懂,半年前看《深入浅出强化学习》的时候,是理解了的,但是没做笔记,再看的时候就记不起来了…原创 2021-01-08 21:57:02 · 13513 阅读 · 12 评论 -
python测试一段代码运行时间的优雅方法
python测试一段代码运行时间的优雅方法文章目录python测试一段代码运行时间的优雅方法前言:基于修饰器的时间计算:总结:前言:这个PER的全面整理,简直害死人,怎么这么多事儿?需要补的知识点太多了啊~为了要测试PER的时间消耗,都在哪儿,我要记录程序执行的过程中,关键语句的运行时间。最简陋的方法其实很简单,三句话:import time...st = time.time()results = function(args)cost = time.time()-st但这个代码不适原创 2020-12-26 19:25:01 · 3564 阅读 · 4 评论 -
二叉树的父子节点位置关系(学习笔记)
二叉树的父子节点位置关系(学习笔记)文章目录二叉树的父子节点位置关系(学习笔记)前言:参考链接:结论:前提条件:推导:前言:昨天晚上想sumtree插入值的时候,怎么都无法推导出来二叉树的父子节点索引的关系是2K+1和2K+2。虽然我知道几个前提,早上过来的时候,搜了一下,果然有人做了详细的推导,我再重写一遍~参考链接:二叉树的父子节点位置关系结论:二叉树中父节点为k,它的左子节点下标为2k+1,右子节点是2k+2。前提条件:二叉树一个节点有2个子节点,左节点和右节点。因此,可以原创 2020-12-26 07:41:15 · 5597 阅读 · 0 评论 -
有监督学习还是离线强化(offline-RL)?
有监督学习还是离线强化?文章目录有监督学习还是离线强化?前言:为什么我的强化学习这么智障?Decisions from Data: How Offline Reinforcement Learning Will Change How We Use Machine Learning深度学习和强化学习的区别offline和online的区别。总结:前言:为什么我的强化学习这么智障?相信不少搞强化的同学,都有一个疑惑,强化到底有什么好的?探索成本高,要么瞎探索,要么陷入局部最优学习时间长,仿真实验一原创 2020-12-24 15:29:38 · 2710 阅读 · 0 评论 -
Python 将终端 Terminal 或者控制台的输出结果输出至 log 文件 以文件形式 随时保存 追加保存
Python 将终端打印输出结果即时保存至 log文件文章目录Python 将终端打印输出结果即时保存至 log文件前言:代码:前言:网上目前能搜到的都是,等整个程序跑完,才会在log文件中写东西,如果程序中间停止,就啥也没有了。这明显不符合大家的需求,既然是要保存程序的打印信息,整个程序肯定是复杂,长时间,且容易报错的。因此我想着加两个功能:一个是随时打印,随时写到文档中;一个是每次都在上一次程序执行结束之后,继续添加,而不是清空上次的文档。代码:import sysclass L原创 2020-10-10 20:14:27 · 5062 阅读 · 5 评论 -
自动删除没有跑完的文件夹(慎用!)
自动删除没有跑完的文件夹(慎用!)文章目录自动删除没有跑完的文件夹(慎用!)前言代码前言pass代码import shutilimport os#定义一个删除空文件和非指定类型文件的函数def delete_null_dir(parent):#如果是文件夹的话,那么进入下面的循环 if os.path.isdir(parent): # print("进入删除模式:"),这里你不清楚,直接可以print变量,看看到底是啥 # 如p是打开parent原创 2020-09-14 10:57:09 · 175 阅读 · 0 评论 -
常见数学符号的直观理解笔记
常见数学符号的直观理解笔记文章目录常见数学符号的直观理解笔记前言:argmax(f(x))前言:passargmax(f(x))argmax(f(x))是使得 f(x)取得最大值所对应的变量点x(或x的集合)这个定义也太容易理解了吧…...原创 2020-08-25 21:02:22 · 1568 阅读 · 0 评论 -
论文阅读笔记-《Pose-Based View Synthesis for Vehicles: A Perspective Aware Method》
论文阅读笔记-《Pose-Based View Synthesis for Vehicles: A Perspective Aware Method》前言算是开了一个新的栏目?一直看论文不分享,只输入,不输出,效果总感觉不太好。那就尽量每天分享一篇自己的阅读笔记?我看好多大佬都是这么操作的。今天先看看能不能找到一个合适的模式,便于记录,也能让更好的理解文章的思路?行文逻辑用平时汇报的思...原创 2020-05-06 05:24:35 · 1224 阅读 · 0 评论 -
pytorch官方安装教程
官方教程感觉离线装,和其他的教程都是邪路。建议安装官方安装教程。https://pytorch.org/get-started/locally/然后如果在线装时间慢,建议用国内源。pip的国内源教程:https://blog.csdn.net/hehedadaq/article/details/99887356conda的国内源教程:https://blog.csdn.net/he...原创 2019-08-27 14:52:18 · 307 阅读 · 0 评论 -
【转载】sublime text 3完全安装手册ubuntu16.04版(支持中文输入)+ 汉化
参考链接:sublime text 3完全安装手册ubuntu16.04版(支持中文输入)其实这篇文章写的还算可以,转载的目的在于它的操作顺序有问题~官方apt安装链接 由于官方apt链接被墙,会在安装时卡住,所以需要手动下载安装包安装包链接点此下载后,比如在downloads文件夹,解压,然后将文件夹名字改成sublime_text接下来执行命令:sudo m...转载 2018-08-16 10:34:48 · 702 阅读 · 0 评论 -
Python中的*和**(转载+合成---一文搞懂Python的*传参)
Python中的*和**(转载)参考链接:https://blog.csdn.net/qq_32252957/article/details/80887960https://www.cnblogs.com/beiluowuzheng/p/8461518.html简介:Python中的*与**操作符使用最多的就是两种用法。1.用做运算符,即*表示乘号,**表示次方。2.用于指定函数传入...原创 2019-10-06 22:09:49 · 883 阅读 · 0 评论 -
rospy订阅激光雷达数据并可视化处理
python在ros中订阅雷达数据并可视化处理文章目录python在ros中订阅雷达数据并可视化处理参考教程:预设条件:图片:程序:接着上一次的博客,我可视化激光雷达的数据还是整好了,记录一下吧,国内现成的python文件处理这个数据的demo,好像不容易搜到,我就贴出来吧。参考教程:这次也参考了很多其他的教程,因为时间久了,可能贴不全,见谅。主参考和雷达原理:激光雷达学习笔记(二)数...原创 2018-09-19 15:13:27 · 7436 阅读 · 2 评论 -
遍历B站文件目录,获取所有中文注释信息
Fetch Chinese Comments文章目录Fetch Chinese Comments遍历B站文件目录,获取所有中文注释信息前言在github上搜到了一个类似的项目经典评论:遍历B站文件目录,获取所有中文注释信息前言昨天晚上小破站翻车了,造成了程序员界的一次狂欢,可惜我不会go语言,连基本的文件目录都无法看懂,根本不知道该如何看到有趣的信息;网传的两个截图,就算load下来文件...原创 2019-04-23 13:49:09 · 667 阅读 · 0 评论 -
Python2中print字符串含有汉字无法在终端和cmd正确显示怎么办?乱码和编码锦集
Python2正确输出含有汉字的字符串Python2正确输出含有汉字的字符串前言:demo1Windows下cmd中python2正确print输出带有汉字的字符串变量前言:这个也是做CSDN爬虫项目中遇到的一个神奇的bug。虽然现在发现,并不是bug,而很可能是我自己的操作失误。 但是这个失误让我从昨天晚上,到现在都在烦躁当中~ 一直很好奇,为啥这种最基础的...原创 2018-08-17 20:05:58 · 5370 阅读 · 3 评论 -
爬虫demo_草稿
# coding:utf-8#!/usr/bin/env python '''Created on 2018年8月18日@author: XX创意车间使用python爬取csdn个人博客的访问量,并可视化''' import urllib2import refrom bs4 import BeautifulSoup import sysimport chardet ...原创 2018-08-16 21:26:34 · 404 阅读 · 0 评论 -
Windows系统下cmd无法输出中文解决方案——Python2程序
在github上找到了答案:不管是anaconda的prompt还是传统的cmd,好像都无法正确编译输出中文的程序,都是乱码。所以需要在cmd或者prompt中输入下面的指令,就可以正确显示了:CHCP 65001这样就会更改控制台编码为utf8美滋滋~ 但是这样却无法继续输入诸如 pip install beautifulsoup4这样的 指令了,并且会如下报错:...原创 2018-08-16 22:29:08 · 1717 阅读 · 0 评论 -
【python学习笔记】for循环遍历两个列表失败—— ValueError: too many values to unpack
for循环遍历两个列表失败—— ValueError: too many values to unpackfor循环遍历两个列表失败—— ValueError: too many values to unpack问题来源:为啥会报错?我们到底该如何处理两个列表的for循环呢?问题来源:我现在有两个列表,一个是标题,一个是访问量,我想在一个for循环中,获取这两...原创 2018-08-19 10:52:07 · 26289 阅读 · 2 评论 -
【Python学习笔记】for循环连续创建对象_练习demo~
前言:在获取CSDN访问量的小项目中,需要获取我所有博客,创建了一个Blog类,所以需要创建n多个对象。所以就需要用一个for循环创建。然后普通的操作,好像并不能让字符串变成变量名!因此我百度了一下,找到了下面的方法,这个就不加链接了,因为太多了 代码:class Blog: def __init__(self,num): print("a new...原创 2018-08-16 15:15:45 · 7063 阅读 · 1 评论 -
【报告笔记】【CCAI 2016】蒲慕明院士在2016中国人工智能大会中所作报告——脑科学能为人工智能带来什么?脑科学对人工神经网络结构设计的启发
题目:脑科学能为人工智能带来什么?题目:脑科学能为人工智能带来什么?前言原文链接阅读目的:以下为报告内容:总结特性:启发总结:前言蒲慕明院士是一个很有故事的大佬,之前看过他的一些事迹,敬仰已久~ 今天学习的是蒲慕明院士在2016中国人工智能大会中所作报告~原文链接原文链接阅读目的:现在的人工神经网络,应用最广的应该快是卷积神经网络了,...转载 2018-08-13 22:30:13 · 1208 阅读 · 0 评论 -
【ros学习笔记】topic_demo实践_cpp
topic_demo实践_cpptopic_demo实践_cpp参考视频:准备工作:步骤需要注意的一个就是修改package.xml的时候演示结果:参考视频:ROS机器人操作系统入门-中国大学MOOC 我修改的笔记,修改到了topic_demo_cpp 一天开三坑,我感觉药丸~准备工作:1、我已经看完了整个视频; 2、基本了解了ros的架构...原创 2018-08-14 21:05:58 · 581 阅读 · 0 评论 -
英文不好如何高效快速地阅读英文文献——提供一种快速首篇文献阅读方法
英文不好如何高效快速地阅读英文文献英文不好如何高效快速地阅读英文文献前言关于阅读英文文献的重要性中国人最新最优秀的科研成果基本上都会发表在国外的期刊,用的外文。前言本来是想写一个教程的,后来搜了一下,咦,读研一年多了,我的阅读方式果然不对! 最近感受非常强烈的一个体验就是——没有经过科学系统的训练,你将会走难以预计的弯路! 对于学习生活中经常要做的事儿,最...原创 2018-08-14 15:50:58 · 27049 阅读 · 3 评论 -
我的第一篇markdown博客demo
欢迎使用Markdown编辑器写博客这是我的第一篇markdown博客demoCSDN的markdown编辑器是嵌入的。 我来试试列表: 错误的列表: - markdown - 我也是错了吗?第二种错误的列表: - **是这样的吗? - 是的呢所以正确的应该是这样的吗?我是列表元素我们一起构成正确的列表好的我已经发现了秘密了:必须得和上面的语句空一行然...原创 2018-07-19 10:46:37 · 1137 阅读 · 0 评论 -
python2.7的虚拟环境安装OpenCV3变为Python3.6的神奇bug
系统环境:windows7anaconda3.遇到的问题:先是在anaconda中创建了一个Python2.7环境的虚拟环境,但是用conda install OpenCV后,自动安装的是OpenCV3.于是Python版本竟然也自动升级到了Python3.6!简直有毒啊!解决办法:1、退出此环境,卸载此环境。conda remove -n py27(你的虚拟环境名字)...原创 2018-07-18 20:30:29 · 777 阅读 · 1 评论 -
Python2和Python3关于int数据相除结果的区别
之前一直用的是Python3,有一个除法公式用起来也没有出现什么bug,后来项目需要用Python2执行,出现了一个明显不合理的错误。因为整个程序不是我写的,也是原来的公式,导致我没有意识到是版本不同,而出现的bug。后来将所有的数据变量都打印了一遍,才发现问题。Python2中将int的数据相除,自动转化成int类型,也就是除去小数部分 :>>> a = 11&g...原创 2018-07-18 16:29:28 · 5346 阅读 · 0 评论 -
Ubuntu创建utf-8字符集的mysql数据库,解决 Incorrect string value: \\xE6\\x88\\x91\\xE6的问题
Ubuntu创建utf-8字符集的mysql数据库Ubuntu创建utf-8字符集的mysql数据库前言:问题原因:修改原数据库步骤:1、先进入数据库:2、进入数据库3、查看数据表编码前言:最近一直在做这个爬虫结合MySQL的小项目,发现具体操作的bug是真的很多! 尤其是我对基本的命令,以及一些细节的忽略,导致的格式问题! 特别是这个中文字符串...原创 2018-09-01 21:10:37 · 4945 阅读 · 0 评论