- 博客(22)
- 收藏
- 关注
RSS订阅原创 《强化学习》-读书笔记-第三章 有限马尔科夫决策过程
三. 有限马尔科夫决策过程（有限MDP）目标和收益回报和分幕策略和价值函数最优策略与最优价值函数三. 有限马尔科夫决策过程（有限MDP）在有限MDP中，状态、动作和收益的集合（SSS、AAA和RRR）都只有有限个元素。p(s′,r∣s,a)=Pr{St=s′,Rt=r∣St−1=s,At−1=a}p(s',r|s,a)=Pr\{S_t=s',R_t=r|S_{t-1}=s,A_{t-1}=a\}p(s′,r∣s,a)=Pr{St=s′,Rt=r∣St−1=s,At−1=a}StS_tS.
2022-02-13 11:35:27
812
原创 《强化学习》-读书笔记-第二章 多臂赌博机
二. 多臂赌博机2.1 一个k臂赌博机问题增量式实现跟踪一个非平稳问题乐观初始值基于置信度上界（UCB）的动作选择梯度赌博机算法二. 多臂赌博机2.1 一个k臂赌博机问题重复的在K个动作中进行选择，每一次选择后都会得到一定数值的收益，目标是在一段时间内最大化总收益的期望（隐含背景：每个动作的平均收益不同）。K个动作中每一个被选择时有一个期望收益或平均收益，称为该动作的“价值”。如果知道每个动作的价值，每次选择直接选价值最高的动作；如果不知道每个动作的价值，就对每个动作的价值进行估计；每次.
2022-02-13 11:33:35
690
原创 《强化学习》-读书笔记-第一章 导论
一. 导论1.1 强化学习1.2 示例1.3 强化学习要素1.4 局限性和适用范围1.5 扩展实例：井字棋1.6 本章小结1.7 强化学习的早期历史一. 导论在交互中学习是几乎所有学习和智能理论的基本思想。本书研究在交互中学习的计算性方法，强化学习相比于其他机器学习方法，更加侧重于以交互目标为导向进行学习。1.1 强化学习强化学习就是学习“做什么才能使得数值化的收益信号最大化”强化学习最重要的两个特征：试错和延迟收益强化学习既不同于监督学习，又不同无监督学习，属于第三种机器学习范式.
2022-02-13 10:51:40
492
转载 转载：惯性导航之陀螺仪
原文地址：https://mp.weixin.qq.com/s/sI17Ba0SmPr8vX5d7EmFIA直接复制没有图片，建议阅读原文原创 AshiRiga 南瓜随你飞 2020-12-21最近简单了解了一下关于惯性导航中陀螺仪方面的知识，今天就为大家做一个简单的分享。什么是惯性导航要了解什么是惯性导航，首先需要将这个词组拆分成两个部分，即导航+惯性。导航，简单来说就是解决了我们从一个地方到另外一个地方的问题，指明方向，典型的就是指南针了。惯性，最开始来源于牛顿力学，是指物体具有保持其运动
2021-11-28 11:14:49
326
原创 cv2.imread()与cv2.imwite()的通道问题
使用cv2.imread读取图片会改变图片的通道为（BGR）使用cv2.imwite()保存图片则会将通道纠正回（RGB）验证：原始图片打开如下所示：注意图中红框位置房顶的颜色为红色使用如下代码读取图片，首先使用cv2.imread读取，然后使用cv2.imwite保存import cv2import numpyfor k in range(10,15): img1 = cv2.imread('/user-data/GNN_RemoteSensor/2_Ortho_RGB.
2021-10-31 13:12:30
1919
原创 Potsdam，Vaihingen数据集（附百度网盘下载地址）
遥感数据集Potsdam，Vaihingen 的分享及处理1. Potsdam，Vaihingen数据集下载地址（百度网盘）2. 数据集分割处理1）分割图片2）保存为.mat格式1. Potsdam，Vaihingen数据集下载地址（百度网盘）对于做遥感图像处理的同学来说，Potsdam，Vaihingen是两个常用的数据集。如果想下载，一般需要搭梯子下载，并且下载过程经常中断，百度相关文章，排名靠前的文章也没有给出国内相关下载链接，因此将自己下载的数据集分享出来，为大家提供方便。Potsdam数据
2021-10-31 11:56:47
17585
46
原创 超像素分割图神经网络资料汇总
资料汇总一. 相关论文二. 查阅的相关资料一. 相关论文3DGNN论文 《3D Graph Neural Networks for RGBD Semantic Segmentation》源代码（Github）论文复现及源代码分析其他复现博客：博客1，博客2语义分割图LSTM论文 《Semantic object parsing with graph LSTM》可解释的图进化LSTM论文《Interpretable structure-evolving LSTM》二. 查阅的相关资料S
2021-09-12 15:56:14
292
原创 Matlab 绘制动态图
在写论文的过程中，我们经常需要用MATLAB绘制图形。论文中的图形都是图片格式，但是在展示和汇报时，如果将图形做成GIF动图，变量的变化过程就会非常直观，展示效果也会非常好。下面将本人利用MATLAB绘制GIF动图的方法分享给大家。前提：已经利用MATLAB完成了图片的绘制，保存有变量数据具体程序如下所示：figure(1)clf;box on;%坐标轴信息xlabel({'时间(s)'},'FontSize',40)ylabel({'$z_{i1}(t)$'},'Interpreter
2021-05-20 10:41:24
11084
2
原创 解决MATLAB保存的eps文件中文乱码问题
问题MATLAB绘图后，保存为eps格式，在latex中插入eps图片，发现eps图片中的中文全是乱码，如下图所示：有些eps图片会多出来白色空白区域，如何去除，也可以参考下面的方法解决办法需要的第三方软件： AI （Adobe illustrator）具体步骤：将MATLAB绘制的图像保存为eps格式；用AI将上面保存的eps图像打开双击乱码位置，进行编辑 修改完毕后，文件->存储为（另存为），保存类型为，并且勾选下面的 使用画板，保存然后再保存位置会发现两个
2021-04-02 21:36:54
1647
3
原创 Qbot2编队实验效果
本文为Qbot2编队实验效果的展示，两个Qbot2作为跟随者，跟踪一个虚拟领航者，h1=[0.30.3]Th_1=[0.3 \quad 0.3]^Th1=[0.30.3]T，h2=[0.3−0.3]Th_2=[0.3 \quad -0.3]^Th2=[0.3−0.3]T。成功的案例 单车圆周运动 单
2021-03-21 20:02:35
337
原创 Qbot2双车协同Demo
目录0. 准备工作1. mission_server_leader_follower_qbot2_qbot2.mdl配置，编译，运行2. leader_qbot2.mdl文件配置，编译，连接，运行3. follower_qbot2.mdl配置，编译，连接，运行4. 关闭程序0. 准备工作ping 一下两个车的IP，看通讯是否正常正确摆放两辆车的初始位置，follower不要放置在leader与第一个目标点的中间。1. mission_server_leader_follower_qbot2_q
2021-01-16 20:15:33
532
2
原创 Qbot2定点跟踪Demo
0. 前期准备完成单个Qbot2的刚体标定（.tra文件）在cmd窗口，ping一下小车的ip，测试是否可以正常通讯将网络中Host地址设置为192.168.2.10，掩码为255.255.255.0，这一步非常重要。如果实验过程中出现错误：OptiTrack Not Tracking Markers，并且排除Qbot2超出定位区域的错误，则可以检查ip地址设置是否正确，可以尝试用指令：ipconfig/all查看所有的ip地址。1. mission_server_tracking_qbot2
2021-01-15 22:13:12
497
原创 论文复现教程-(3DGNN)3D Graph Neural Networks for RGBD Semantic Segmentation
准备数据集参考：https://blog.csdn.net/qq_38484430/article/details/106584587
2021-01-06 16:53:16
2888
5
原创 《强化学习》-读书笔记-总目录
章节目录1. 导论I 表格型求解方法2. 多臂赌博机K臂赌博机增量式实现跟踪一个非平稳问题乐观初始值基于置信度上界（UCB）的动作选择梯度赌博机算法3. 有限马尔科夫决策过程（有限MDP）目标和收益回报和分幕策略和价值函数最优策略与最优价值函数1. 导论参考书籍：https://item.jd.com/12696004.html在交互中学习是几乎所有学习和智能理论的基本思想，强化学习相比于其他机器学习方法，更加侧重于以交互目标为导向进行学习。强化学习四要素：策略、收益、价值函数、环境模型。策略：
2020-12-30 17:24:30
685
原创 LeNet5详解+Pytorch代码
从零开始学习深度学习，从较早的经典模型开始学习，希望能够坚持下去，写成一个系列。LeNet5网络既经典又重要，网上关于该模型的解释数不胜数，我也就不做重复的劳动了，直接给出个人认为比较好的介绍的链接，只对其中部分内容作简要介绍，算是自己的笔记，给自己看的。论文地址：https://ieeexplore.ieee.org/document/726791论文详解：https://www.datalearner.com/blog/1051558664111790欢迎使用Markdown编辑器你好！ 这是你
2020-12-23 21:01:36
819
原创 OptiTrack Motive 使用教程
相机标定最近在使用Quanser的地面车做实验，需要用到OptiTrack系统进行定位，记录一下使用过程，供需要的人参考。本文参考了以下博客：-https://blog.csdn.net/banzhuan133/article/details/77938083https://www.pianshen.com/article/93051595787/打开Motive软件，选择 Perform Camera Calibration界面如下所示，分为四个区域。区域1：Cameras窗口
2020-12-18 20:55:14
4571
4
原创 Qbot2 Demo介绍-逆运动学
示例：QBot 2_Inverse_Kinematics.mdl该示例与正向运动学的区别，在于给定不是两个轮子的速度，而是Qbot2的前进速度和旋转角速度（机体坐标系），由下面的框图易知，其主要在输入部分增加逆动力学模块，其他与正向运动学相同。框图3中的程序如下所示：function [vR,vL] = fcn(vC , Omega)%车轮间距d=0.235; %右轮速度vR = vC + Omega*d/2;%左轮速度vL= vC - Omega*d/2;...
2020-12-16 21:38:18
363
原创 Qbot2 Demo介绍-正向运动学
示例：QBot 2_Forward_Kinematics.mdl该示例进一步由机体坐标系引申到全局坐标系，给出了全局坐标系下Qbot2在x轴，y轴的速度x(t),y(t)x(t),y(t)x(t),y(t)以及全局坐标系下的旋转速度θ(t)\theta(t)θ(t)。整体框图如下所示：框图1为系统初始化模块，选择好设备类型，其他基本不用修改。框图2为给定左右两个轮子的速度，不同的给定表现出不同的运动模式。框图3为运动使能开关，为Qbot2的电机开通与关断开关。框图4分别包括读/写模块，写模
2020-12-16 21:22:13
306
原创 Qbot2 Demo介绍-差分驱动
Qbot2有一些Demo，既可以用来测试主机与无人车的通讯是否正常，也可以用来理解Qbot2的工作原理，以及熟悉QUARC的使用。示例：QBot 2_Diff_Drive_Kinematics.mdl整体框图如下所示：框图1为系统初始化模块，选择好设备类型，其他基本不用修改。框图2为给定左右两个轮子的速度，不同的给定表现出不同的运动模式。框图3为运动使能开关，为Qbot2的电机开通与关断开关。框图4分别包括读/写模块，写模块将给定轮子速度告诉Qbot2，读模块读取Qbot2的编码器数据，蜂
2020-12-16 20:57:29
555
1
原创 Qbot2与Host主机建立通讯
Quanser轮式机器人QBot2的使用Host主机与Qbot2建立通讯调试程序建立通讯的步骤注意事项Host主机与Qbot2建立通讯通过Host主机对Qbot2机器人进行控制的前提是，双方建立了稳定的通讯连接，因此首先介绍Host主机与Qbot2建立连接的过程。因为和官方教程有所不同，所以进行总结、以供分享交流。时间：2020.12.16参考：https://www.cnblogs.com/six-m/p/4703382.html调试程序Qbot2_Quick_Start.mdl建立通讯的步
2020-12-16 17:03:46
465
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人