- 博客(13)
- 收藏
- 关注
RSS订阅转载 增强学习（三）----- MDP的动态规划解法
上一篇我们已经说到了，增强学习的目的就是求解马尔可夫决策过程(MDP)的最优策略，使其在任意初始状态下，都能获得最大的Vπ值。(本文不考虑非马尔可夫环境和不完全可观测马尔可夫决策过程(POMDP)中的增强学习)。那么如何求解最优策略呢？基本的解法有三种：动态规划法(dynamic programming methods)蒙特卡罗方法(Monte Carlo methods)时间差分...
2018-08-23 20:49:16
664
转载 MDP
马尔科夫决策过程（MDP） 近期在接触强化学习的项目，在这里对学习的知识进行记录，希望可以持续下去介绍强化学习的相关知识。本人也是刚开始接触强化学习，所以有什么不对的地方，欢迎大家指正。 概念 马尔科夫决策过程是基于马尔科夫论的随机动态系统的最优决策过程。它是马尔科夫过程与确定性的动态规划相结合的产物，故又称马尔科夫型随机动态规划，属于运筹学中数学规划的一个分支。 马尔科...
2018-08-23 16:41:57
6187
转载 马尔科夫过程
在概率论和统计学中，马尔可夫决策过程提供了一个数学架构模型，用于面对部分随机、部分可由决策者控制的状态下，如何进行决策，以俄罗斯数学家安德雷·马尔可夫的名字命名。0.引例 假设我们有一个机器人处于状态 s1s1， 它有多种动作选择可以到达终止状态 stst， 但是执行每个动作所带来的收益不一样。这时，我们需要做一个算法来帮助机器人选择动作序列，来保证到达终止状态 stst 时收益最高，这时...
2018-08-23 16:28:06
5809
转载 插补
在实际加工中，被加工工件的轮廓形状千差万别，严格说来，为了满足几何尺寸精度的要求，刀具中心轨迹应该准确地依照工件的轮廓形状来生成，对于简单的曲线数控系统可以比较容易实现，但对于较复杂的形状，若直接生成会使算法变得很复杂，计算机的工作量也相应地大大增加，因此，实际应用中，常采用一小段直线或圆弧去进行拟合就可满足精度要求(也有需要抛物线和高次曲线拟合的情况)，这种拟合方法就是“插补”，实质上...
2018-08-21 15:08:42
1608
转载 一维数组和 二维数组
所谓数组，是无序的元素序列。 若将有限个类型相同的变量的集合命名，那么这个名称为数组名。组成数组的各个变量称为数组的分量，也称为数组的元素，有时也称为下标变量。用于区分数组的各个元素的数字编号称为下标。数组是在程序设计中，为了处理方便， 把具有相同类型的若干元素按无序的形式组织起来的一种形式。 这些无序排列的同类数据元素的集合称为数组。int compact(type *Array,i...
2018-07-31 20:53:04
585
原创 char和unsigned char的区别
在C中，默认的基础数据类型均为signed，现在我们以char为例，说明(signed) char与unsigned char之间的区别 首先在内存中，char与unsigned char没有什么不同，都是一个字节，唯一的区别是，char的最高位为符号位，因此char能表示-128~127, unsigned char没有符号位，因此能表示0~255，这个好理解，8个bit，最多256种情况，...
2018-07-31 15:28:58
405
转载 #ifndef和#define区别
想必很多人都看过“头文件中的 #ifndef/#define/#endif 防止该头文件被重复引用”。但是是否能理解“被重复引用”是什么意思？是不能在不同的两个文件中使用include来包含这个头文件吗？如果头文件被重复引用了，会产生什么后果？是不是所有的头文件中都要加入#ifndef/#define/#endif 这些代码？ 其实“被重复引用”是指一个头文件在同一个cpp文件中...
2018-07-31 15:18:36
15770
4
转载 数字地和模拟地
数字电路对干扰不敏感，模拟电路对干扰敏感。虽然认为地上的电压是处处相同的，但实际上不是，所以地上有电流在流动，但这个电流从数字部分流到模拟部分时就会有干扰，而且数字信号带有各种频率的分量，干扰会很严重。所以数字地和模拟地应该分开走，在电源部分的地上汇合，而且尽量不要走环形地。 除了正确进行接地设计、安装,还要正确进行各种不同信号的接地处理。控制系统中，大致有以下几种地线：（1）数字地：也...
2018-07-25 16:01:46
2448
转载 数字地和模拟地
二者本质是一直的，就是数字地和模拟地都是地。要明白为什么要分开，先听一个故事；我们公司的商务楼，2楼是搞模拟的，3楼是搞数字的，整幢楼只有一部电梯，平时人少的时候还好办，上2楼上3楼互不影响，但每天上下班的时候就不得了了，人多得很，搞数字的要上3楼，总是被2楼搞模拟的人影响，2楼模拟的人要下楼，总是要等电梯上了3楼再下来，互相影响很是麻烦，商务楼的物业为解决这个问题，提出了2个方案：第1个（笑死...
2018-07-25 15:52:09
373
转载 ELMO的CAN总线H-L线之间用示波器测量图像
检测can总线是否连接的方法，分别测量CANH与CANL之间的电阻，包括驱动器和控制器之间的电阻，确保连通性，转-------整理自网络：：stm32的can总线是在APB1上的，stm32f10x的主频是72Mhz，can外设时钟是36Mhz，stm32f2xx的主频是120Mhz，can外设时钟是30Mhz。。。STM32 APB1和APB2区别：APB2负责AD，I/O，高级...
2018-07-25 11:04:06
3889
原创 ELMO驱动器与nanotec电机通过compser软件调试PID参数的方式
打开compser软件选择RS232接口 调节电流环与电机换向是按照步骤傻瓜式操作，在速度环和位置环时需要注意：
2018-07-17 16:08:05
2443
原创 ELMO驱动器与nanotec电机用conpser连接时PID调节方式
第一步打开compser软件，新建一个应用选择RS232接口， 调节电流环与电机换向是按照步骤傻瓜式操作，在速度环和位置环时需要注意：...
2018-07-17 16:03:23
1358
1
原创 单片机关键词
1、MSP430系列单片机是美国德州仪器（TI）1996年开始推向市场的一种16位超低功耗、具有精简指令集（RISC）的混合信号处理器（Mixed Signal Processor）。MSP430单片机称之为混合信号处理器，是由于其针对实际应用需求，将多个不同功能的模拟电路、数字电路模块和微处理器集成在一个芯片上，以提供“单片机”解决方案。该系列单片机多应用于需要电池供电的便携式仪器仪表中。htt...
2018-07-10 16:10:57
869
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人