今非昔比zhi的博客

原创 目标检测Precision/Recall curve中AP曲线为什么呈现下降趋势

在学习时发现在Precision/Recall Curve中,，AP是不断下降的。

原创 强化学习利用Sarsa以及Q-learning求解CliffWalking问题

而Sarsa在更新时用epsilon-greedy，收敛到的Q值使得我们得到在epsilon-greedy策略下的最优路径，即图中的Safer path。建模中，掉下悬崖的奖励是-100，G的奖励是10，原地不动的奖励-1，到达非终点位置的奖励是0(与图中的示意图不一致，不过大差不差)，分别使用on-policy策略的Sarsa与off-policy策略的Q-learning算法，经过20000幕进化迭代得出safe path，optimal path，最后根据Q值来得出最终的策略，以此来对上图进行复现。

原创 Windy Gridworld with King’s Moves

【代码】Windy Gridworld with King’s Moves。

原创 迭代策略评估算法的实现与分析

迭代策略评估算法是马尔可夫决策过程中重要的价值估计方法之一，通过实验我们成功实现了该算法并得到了状态值函数的收敛结果，为后续的强化学习算法提供了重要参考。迭代策略评估算法的实现与分析实现迭代策略评估算法，用于评估给定马尔可夫决策过程中状态值函数的收敛情况。

原创 革新智能机器人训练工具

这些反馈可以是明确的，例如好坏评估分数，也可以是隐式的，例如人类指导性的建议。智能系统收集人类的反馈，并将其与当前状态和智能系统采取的动作相关联。具体示例中，系统使用少量人类反馈教导了一个人型机器人如何直立奔跑，取代了之前基于自动化奖励反馈的方法。和传统假设不同，人类所独有的高阶智慧能力只需要非常少的计算能力，例如推理，但是无意识的技能和直觉却需要极大的运算能力。人类反馈的加入可以改变奖励信号的分布，从而影响智能系统的学习过程。年人工智能研究的主要教训是，困难的问题很容易，容易的问题反而很难。

原创 189. 轮转数组

输入: nums = [1,2,3,4,5,6,7], k = 3。输入：nums = [-1,-100,3,99], k = 2。向右轮转 1 步: [7,1,2,3,4,5,6]向右轮转 2 步: [6,7,1,2,3,4,5]向右轮转 3 步: [5,6,7,1,2,3,4]向右轮转 1 步: [99,-1,-100,3]向右轮转 2 步: [3,99,-1,-100]输出: [5,6,7,1,2,3,4]输出：[3,99,-1,-100]来源：力扣（LeetCode）

原创 234. 回文链表

给你一个单链表的头节点 head ，请你判断该链表是否为回文链表。如果是，返回 true；否则，返回 false。链表中节点数目在范围[1, 105] 内。输入：head = [1,2,2,1]解题思路：用栈比较，时间复杂度O(n)输入：head = [1,2]来源：力扣（LeetCode）

原创 Unreal Engine 5 C++工程环境配置

visual studio 2022插件及编译失败问题

原创 408文件管理大题

原创 Java 验证回文串

题目：编写程序，验证一个字符串是否为回文串：是否从前读它和从后读它都是一样的。例如，mom，dad是回文串。该程序接收用户输入的字符串，判断是否为回文串，然后将判断的结果输出。在验证回文串时，忽略大小写、空格和标点。代码：import javax.swing.*;/** * Created by Intellij IDEA. * User: specialfinger * Date: 2021/11/22 */public class Reverse { public

原创 Java syncronized 线程同步

对于线程安全问题，是由于线程对内存、数据的共享引发，采用synchronized关键字标记针对共享资源的操作；同步方法、同步块。同步代码块：格式：synchronized (object) {代码块} /** * Created by Intellij IDEA. * User: specialfinger * Date: 2021/11/21 */public class SynBlockThread { public static void main(Stri.

原创 Java 动态数组

例题：根据输入的n，打印n行乘法口诀表。需要使用二维字符串数组存储乘法口诀表的每一项，比如存放1*1=1.为了保证程序中使用了二维数组，需在打印完乘法口诀表后使用Arrays.deepToString打印二维数组中的内容。提醒：格式化输出可使用String.format或者System.out.printf。输出格式说明每行末尾无空格。 每一项表达式之间(从第1个表达式的第1个字符算起到下一个表达式的首字符之间)，共有包含7个字符。如2*1=2 2*2=4从第1个2开始到第二项``2*

原创 浅学Java多线程 Thread synchronized

例题：编写4个线程，第一个线程从1加到25，第二个线程从26加到50,第三个线程从51加到75，第四个线程从76加到100，最后再把四个线程计算的结果相加。/** * Created by Intellij IDEA. * User: specialfinger * Date: 2021/11/12 */public class AddThread extends Thread{ private int begin; private int end; priv

原创 7-3 jmu-Java-06异常-04-自定义异常(综合)

题目：定义IllegalScoreException异常类，代表分数相加后超出合理范围的异常。该异常是checked exception，即希望该异常一定要被捕获处理。 定义IllegalNameException异常类，代表名字设置不合理的异常。该异常是unchecked exception 定义Student类。属性:private String name;private int score;方法:toString //自动生成setter/getter..

原创 Java 猜数游戏

题目：编写一个猜数程序，该程序随机在1到1000的范围中选择一个供用户猜测的整数。界面上提供一个文本框来接收用户输入的猜测的数，如果用户猜得太大，则背景变为红色，如果猜得太小，背景变为蓝色。用户猜对后，文本框变为不可编辑，同时提示用户猜对了。界面上提供一个按钮，使用户可以重新开始这个游戏。在界面上还需显示用户猜测的次数。实验步骤：(1) 定义继承自JFrame的类，在该类中添加界面各部分；(2) 定义事件监听器类完成事件处理；(3) 定义一个包含main方法的测试类，在该类中创建框架类.

原创 Java 绘制随机图形

题目：定义4个类，MyShape、MyLine、MyRectangle和MyOval，其中MyShape是其他三个类的父类。MyShape为抽象类，包括图形位置的四个坐标；一个无参的构造方法，将所有的坐标设置为0；一个带参的构造函数，将所有的坐标设置为相应值；每个坐标的设置和读取方法；abstract void draw(Graphics g)方法。MyLine类负责画直线，实现父类的draw方法；MyRectangle负责画矩形，实现父类的draw方法；MyOval负责画椭圆，实现父类的draw方法。

原创 MySQL 8.0.26 安装（Win10）

下载地址：https://cdn.mysql.com//Downloads/MySQLInstaller/mysql-installer-community-8.0.26.0.msihttps://cdn.mysql.com//Downloads/MySQLInstaller/mysql-installer-community-8.0.26.0.msi点击这个链接下载，选择安装路径之后一直按着默认选项走之后要配置环境变量找到刚下好的Command Line Client之后点击属性，..