Gabriel17-CSDN博客

原创 Unsupervised Skill Discovery via Recurrent Skill Training论文笔记

本文主要使用的是方案(2)，基于RND来计算给定状态对于一个skill的novelty为多少（方案(2)相对方案(1)更容易实现，因为在之前的NovelD方法中，就有使用过RND来计算novelty）。ReST不是并行地训练所有的技能，而是以一种循环的方式一个接一个地训练技能，并附带一个内在的奖励，以阻止覆盖其他技能的频繁访问状态。以往的无监督技能发现方法主要使用的是并行训练，文章作者发现，当不同技能访问的状态重叠时，并行训练过程有时会阻碍探索，这导致状态覆盖率低，限制了学习技能的多样性。

2023-11-26 14:59:40 414 2

原创 Self-Supervised Exploration via Disagreement论文笔记

使用可微的ri直接去更新动作策略的参数的，那是不是就不需要去计算价值函数或者critic网络了？

2023-11-21 19:46:31 552

原创 NovelD: A Simple yet Effective Exploration Criterion论文笔记

但是本文作者从实验中观察到，如果有多个感兴趣的区域，这些方法有时会很快使智能体被困在一个区域，而无法充分探索其他区域。

2023-11-15 13:08:45 851 1

原创 Exploration by random network distillation论文笔记

但是整个环境中，一共有6扇门和4把钥匙，这就意味着智能体需要保留4把钥匙中的2把，以留到最后的两扇门中来打开，但是打开前面4扇门又能够立即获得外部奖励，这意味着智能体需要有足够的内在奖励来使智能体放弃打开前4扇门中的2扇，以平衡由于早期使用密钥而失去的外部奖励。：以往的论文，探索奖励是基于智能体过去经验训练的网络的预测误差来量化新经验的新颖性，但是最大化这种预测误差的智能体，往往会被输入是随机的transition所吸引。RND探索奖励足以处理局部探索，即探索短期决策的结果，如是否与特定对象互动或避免它。

2023-11-10 17:44:51 569 1

原创 Count-based exploration with neural density models论文笔记

Count-Based Exploration with Neural Density Models基于计数的一种探索方式

2023-11-09 11:33:16 387 2

原创 JDBC连接MySQL数据库操作时事务回滚不起作用

一、问题示例数据库表：示例代码：public static void main(String[] args) { Connection conn=null; PreparedStatement ps=null; try { Class.forName("com.mysql.cj.jdbc.Driver"); conn= DriverManager.getConnection("jdbc:mysql:

2021-05-10 20:57:23 1038 2

原创 maven工程中遇到Can‘t find bundle for base name xxx, locale zh_CN错误

问题maven工程在进行从属性资源文件中读取连接数据库信息的操作时，配置了一个名为jdbc.properties的配置文件。然后使用资源绑定器绑定属性配置文件ResourceBundle bundle = ResourceBundle.getBundle("jdbc");报错找不到名为jdbc的配置文件原因maven工程中应将配置文件放在src/main/resources文件下，但我的初始化module的src/main文件下没有resources文件，配置文件放在了main/java文件

2021-04-27 16:51:29 6632 4

原创数据结构课程实践3——文本文件单词的检索与计数（源代码）

import java.io.IOException;import java.nio.file.Paths;import java.util.ArrayList;import java.util.List;import java.util.Scanner;public class Text { /** * 朴素模式匹配算法 * @param array * @return */ public static List<Integer&

2021-03-21 11:25:31 384

原创数据结构课程实践2——隐式图的搜索问题（源代码）

#include <iostream>#include <ctime>#include <vector>using namespace std;const int ROW = 3;const int COL = 3;const int MAXDISTANCE = 10000;const int MAXNUM = 10000;typedef struct _Node { int digit[ROW][COL]; int dist; // 对于结点的

2021-03-21 11:24:22 123

原创数据结构课程实践1——学生成绩档案管理系统（源代码）

/**学生类 */public class Student { /** 定义学生信息，信息包括学号、姓名、专业、四门课成绩、总分、名次 */ private int number; private String name; private String Major; private double MathScore; private double EnglishScore; private double ChineseScore

2021-03-21 11:18:19 434

原创数据结构课程实践3——文本文件单词的检索与计数（实验准备）

数据结构课程实践3——文本文件单词的检索与计数（实验准备）实验内容编程语言以及开发环境的选择实验思路一、设计思路二、准备工作三、相关算法1、朴素模式匹配算法2、KMP算法实验内容1、文本文件中每个单词不包含空格且不跨行，单词由字符序列构成且区分大小写，统计给定单词在文本文件中出现的总次数，检索输出的某个单词出现在文本中的行号、在该行中出现的位置。2、设计数据量大的文本，进行子串的查询处理，分析算法运行的时间效率，对所有输出的匹配位置结果进行验证，以证明算法设计和实现的正确性。3、用朴素模式匹配算法或

2021-03-01 18:51:29 572

gabriel1217的博客