cherish_f-CSDN博客

翻译强化学习之Q-learning algorithm学习总结

目录文章纲要介绍Q-table Q-learning algorithm: learning the Action Value Function Step 1: Q-value初始化Step 2: Episode循环，直到学习停止Step 3: 选择actionStep 4-5: 估计总结两天学习Q-learning算法，先看了莫烦的视频，大概了解了算法的流...

2018-11-16 03:29:31 1952

翻译《Reinforcement Learning: An introduction》第一章

目录介绍1.1 强化学习（Reinforcement Learning）强化学习的特征与监督学习（supervised learning）的区别与非监督学习（unsupervised learning）的区别难点与挑战 1.2 强化学习的要素总结介绍Learning from interaction is a foundational ide...

2018-11-08 02:16:09 980 2

原创我的第一个任务：handyscope接线

本应该9月份开始我的研究生生涯，却在8月份就被导师叫到学校开始了研究生涯。导师给的第一个任务，居然是让身为码农的我接线。导师给的是一个断了线的叫handyscope的仪器（如下所示），一个为iPhone5量身定做的皮肤镜。刚拿到仪器，面对毫无头绪的三根线，想着我该用怎样天马行空的方法测出这三根线的功能呢？没办法，先搞清楚它是做什么的吧。找到handyscope的官网，发现这家伙不仅

2015-08-19 16:17:24 998 2

原创 2014飞思卡尔加油

不得不感慨时间过得真快，转眼又开始准备新一届的飞思卡尔智能车比赛了，经历了上一次的遗憾，这次我们准备得更尽心。一直觉得做车上面我还有好多不懂，所以这次还是不要偷懒，争取做了就搞懂。这次摄像头直立，算是一大挑战，没做过直立车，心理上的压力也大了些。自己考虑了一下，这次的机械上要注意的应该就是以下几点：重心低一点，会稳定些。质量尽量减轻点，太重会加大惯性，影响灵活性。摄像头支架要固定的好一

2014-03-10 13:23:45 1080

原创智能超市

简介智能超市是融合射频识别技术、计算机通信网络、数据库管理技术于一体的现代化超市，采用高性能HRFID 技术以及防碰撞算法，使商品结算速度很快，只要几秒钟，而准确率却很高，几乎没有差错。而货架的智能信息采集同样方便快捷，实现价格的实时更新和商品补给的提醒，低功耗设计使得功耗更低更低碳环保。硬件设计主要由智能结账柜台和智能货架两部分构成。算法简介

2014-01-29 16:20:47 1543

转载 STM32八种IO口模式区别

在Cortex-M3里，对于GPIO的配置种类有8种之多：（1）GPIO_Mode_AIN 模拟输入（2）GPIO_Mode_IN_FLOATING 浮空输入（3）GPIO_Mode_IPD 下拉输入（4）GPIO_Mode_IPU 上拉输入（5）GPIO_Mode_Out_OD 开漏输出（6）GPIO_Mode_Out_PP 推挽输出（7）GPIO_Mo

2013-11-08 17:12:15 2971

转载开漏输出

开漏输出：OC门的输出就是开漏输出；OD门的输出也是开漏输出。TTL电路有集电极开路OC门，MOS管也有和集电极对应的漏极开路的OD门，它的输出就叫做开漏输出。它可以吸收很大的电流，但是不能向外输出电流。所以，为了能输入和输出电流，它使用的时候要跟电源和上拉电阻一齐用。 OC门开漏输出和OD门开漏输出都是为了同一个目的，都是为了实现逻辑器件的线与逻辑，当然选用不同的外接电阻也可以实现外围

2013-11-06 20:50:08 1348

原创关于DMA的学习

在之前做飞思卡尔智能车比赛时接触过K60的DMA，用DMA可以采集图像，也可以用DMA来测速。概念相信大家都清楚：所谓 DMA就是直接内存取（ Direct Memory Access ），是计算机科学中的一种内存访问技术。书上说，DMA模块可以不占用CPU自行传输数据，能够减轻CPU的负担，然而具体原理是怎样的呢？为什么DMA能够不需要CPU的介入呢？我查阅了相关资料，大概地了解了些。

2013-09-20 20:54:20 3120

原创基于K60直立小车学习

我利用暑假空闲的时间调直立车，对陀螺仪加速度计有了了解，同时也对直立算法有了些认识。做此总结。小车是飞思卡尔的C车模，核心板用的是K60，用陀螺仪加速度计测量角度。想要小车直立，首先要将角度拟合正确，角度拟合的好了，才能有正确的反馈，以便更好的进行电机控制。角度拟合用陀螺仪和加速度计来测量。先介绍下陀螺仪和加速度计：陀螺仪：陀螺仪可以用来测量物体的旋转角速度。陀螺仪输出的是

2013-09-17 19:35:59 3734 2

原创 K60 编码器测角度

这次全国电子设计大赛，我们选做自控题的倒立摆那题。对于角度的测量，考虑K60内部自带正交解码的功能，使用起来方便，所以选取编码器测角度的方案。我观察到成品的倒立摆用的都是2000线以上角度编码器，而我们的编码器只有500线，所以角度测量的准确度上有些许欠缺。K60 AB正交解码初始化：PORTB_PCR0= PORT_PCR_MUX(6); // 设置引脚 B0引脚为FTM1_PHA功

2013-09-16 18:21:15 3628 4

原创飞思卡尔感悟

今年是我第一次做飞思卡尔这个比赛，7月份刚刚比完赛，临比赛前出了各种问题，成绩不是很理想，在此做做总结，为明年再战做准备！从寒假回校就开始着手准备这个比赛，刚开始比较迷茫，我们一开始选用的是9S128的芯片，这是款16位的芯片，他的库函数资源没有我们后来改用的K60（32位芯片）的库函数资源强大，有好多操作需要对寄存器直接操作。当然，直接配置寄存器的方式具有直观、程序运行占用资源少的优点，而当

2013-09-16 17:41:43 2133

原创 K60 彩屏ILI9325驱动

使用了拉普兰德的底层库TFTlcd.c#include "TFTlcd.h"#include "8X16.h"#define White 0xFFFF#define Black 0x0000#define Blue 0x001F#define Blue2 0x051F#define Red

2013-09-16 16:28:13 1362

原创 K60 nokia5110驱动

使用了拉普兰德的底层库nokia5110.c#include "common.h"#include "wordLib.h"#include "HAL_GPIO.h"//位操作定义#define LCD_RST_H LPLD_GPIO_Set_b(PTC, 0, OUTPUT_H) #define LCD_RST_L LPLD_GPIO_Set_b(PTC, 0, OU

2013-09-16 15:40:37 1585

原创基于51的OLED驱动

oled12864.h#include "REG51.h"#include "6x8.h"#include "8x16.h"#include "16x16.h"#define XLevelL 0x00#define XLevelH 0x10#define XLevel ((XLevelH&0x0F)*16+XLevelL)#define Max_Column 1

2013-09-16 15:12:38 9192 1

原创 be myself

INTP 学者型–聪颖机智的解决问题报告接收人:才储成员2547437日期:2013-06-26一、你的MBTI图形 MBTI倾向示意图(类型：INTP 总倾向：16.2) 外向（E）（I）内向实感（S）

2013-06-26 20:00:48 694

cherryfeicherry的专栏