- 博客(59)
- 收藏
- 关注
RSS订阅原创 David Silver-强化学习笔记【2. Markov决策过程】
David Silver-强化学习笔记【2. Markov决策过程】2.1 马尔科夫过程（Markov Process）2.1.1 马尔科夫性（Markov Property）2.1.2 马尔科夫链（Markov Chains）2.1.2.1 一个示例（Student Markov Chain）2.2 马尔科夫奖励过程（Markov Reward Process，MRP）2.2.1 价值函数（Value Function）2.1 马尔科夫过程（Markov Process）在强化学习中，马尔科夫决策过程
2020-06-16 15:40:16
358
原创 强化学习_重要知识点总结（持续更新）
强化学习_知识点笔记马尔科夫性马尔科夫性马尔科夫性是一种假设的性质，某个环境具有Markov性，则表现为下一时刻的state，仅由当前state决定，与过去的history没有太大关系。如果身处markov状态，就会一直在markov状态。数学表达式：P[St+1∣St]=P[St+1∣S1,…,St]\mathbb{P}\left[S_{t+1} | S_{t}\right]=\mathbb{P}\left[S_{t+1} | S_{1}, \ldots, S_{t}\right]P[St+1∣S
2020-06-13 20:15:40
623
原创 python的列表中str[a::b]的作用
直接上图吧（a为整数，b>0）str[a::b] str[a::b]的意思是：从索引位置‘a’开始，正序每‘b’个字符取一次str[a::-b] str[a::-b]的意思是：从索引位置‘a’开始，倒序每‘b’个字符取一次...
2020-06-09 15:31:22
2612
原创 David Silver-强化学习笔记【1.强化学习介绍】
David Silver-强化学习笔记【1.强化学习介绍】1.1 强化学习特点1.2 RL相关术语1.2.1 reward1.2.2 environment1.2.3 state1.1 强化学习特点不存在监督者，训练过程就是试错的过程，根据奖励信号指导行为，不需要提前知道环境的信息（比如不需要提前知道游戏的信息，通过试错知道如何获得高分）。反馈可能存在延时，一个episode结束后才修正决策，并不是立马修正。（也可以即时反馈吧？）研究时间序列的行为，而不是独立同分布的数据。需要一个动态的系统，a
2020-05-30 10:36:54
479
原创 David Silver-强化学习笔记【课程提纲】
参考资料B站视频课程pptDavid Silver强化学习公开课中文讲解及实践课程提纲整个视频公开课分为十讲，分为两个部分。其中前5讲是第一部分，偏重于基础理论；后5讲是第二部分，偏重于解决大规模问题的应用理论。第一部分：强化学习基础理论强化学习简介Markov决策过程理论基础，对于描述强化学习问题很重要动态规划（Dynamic Programming）小规模强化学习问题的一种解决方案Model-Free Prediction理论核心Model-Free Cont.
2020-05-30 10:03:00
208
原创 【论文阅读】Learning to Drive in a Day
论文下载官方Blog论文翻译与解读:一天学会开车摘要一、介绍二、相关工作三、系统架构四、实验五、讨论摘要 我们演示了深度强化学习在自动驾驶（autonomous driving）中的首次应用。通过随机初始化的参数，我们的模型能够使用一个单目图像作为输入，仅用少量的训练场景（training episodes）就能够学习车道跟踪（lane following）策略。我们设...
2020-05-25 17:25:45
1529
原创 Series格式和ndarray格式中，提取特定的一列数据
Series格式和ndarray格式中，提取特定的一列数据读取数据Series中提取某一列数据ndarray中提取某一列数据数据集的图表展示本文使用的数据集是鸢尾花，代码写在jupy notebook中。数据集内包含 3 类共 150 条记录，每类各 50 个数据，每条记录都有 4 项特征：花萼长度、花萼宽度、花瓣长度、花瓣宽度，可以通过这4个特征预测鸢尾花卉属于（iris-setosa, ...
2020-01-04 14:43:13
12392
原创 Linux环境下搭建AirSim
Linux环境下搭建AirSimAirSim仿真平台安装 UnrealEngine注册安装安装AirSim参考资料AirSim仿真平台AirSim是基于Unreal Engine引擎或者Unity引擎，打造的一个无人机/无人车的仿真平台，凭借着Unreal Engine的性能，能够出色的进行基于计算机视觉算法的autonomous vehicles的仿真，AirSim在使用时作为一个UE4的插...
2019-10-30 13:03:09
2707
原创 Linux常用命令_自用
Linux常用命令关于权限常用命令关于权限对任意一个文件（Linux下一切皆文件，包括目录、CPU内存等设备），可以使用ls -l查看其权限。命令的每行首列输出类似(d|-)rwxrwxrwx，这就是文件的权限标志。第一个字母是文件类型，d表示目录,-表示普通文件,s套接字，l链接文件，等等；接下来有9列，每3列一组，总共3组，对应文件属主(owner)、属主组员(group)和其他用户(ot...
2019-10-30 10:09:20
222
原创 【事故记载】Ubantu下挂载磁盘发生的事故
Ubantu下挂载磁盘发生的事故大概的步骤事故解决因为要安装Unreal Engine的原因，同时自己的子账户下存储空间不够，无法编译UE4Editor，所以萌生了挂载磁盘的想法，系统是ubantu16.04。参考的博客1：https://blog.csdn.net/qq_27901091/article/details/76618778参考的博客2：https://blog.csdn.n...
2019-10-30 09:47:00
157
原创 第5章：前4章综合运用_案例实战04泰坦尼克号获救分析
第5章：案例实战04泰坦尼克号获救分析1 其他参考2 读取数据3 数据预处理3.1 填充缺失值3.2 字符型变量变为数字4 使用回归算法进行预测4.1 线性回归4.2 逻辑回归5 使用随机森林改进模型5.1 调参5.2 新增特征5.3 正则表达式搜索title6 特征重要性分析7 集成算法1 其他参考2 读取数据3 数据预处理3.1 填充缺失值3.2 字符型变量变为数字4 使用回...
2019-10-24 22:07:47
217
原创 第4.3章：决策树（decision tree）_案例实战03决策树调包示例
第4.3章：决策树（decision tree）_案例实战03决策树调包示例1 导入数据集1.1 查看数据1.2划分数据集2 树模型参数3 决策树可视化3.1 模型训练3.2 可视化4 随机森林5 自动调参1 导入数据集1.1 查看数据1.2划分数据集2 树模型参数3 决策树可视化3.1 模型训练3.2 可视化4 随机森林5 自动调参...
2019-10-24 21:37:28
699
原创 第4.2章：决策树（decision tree)_决策树的剪枝&优缺点
第4.2章：决策树_决策树剪枝三、决策树剪枝预剪枝后剪枝预剪枝与后剪枝对比四、CART算法&决策树优缺点三、决策树剪枝决策树如果将全部特征都用上，可能会有过拟合的风险，因为如果没有任何限制，在生成的阶段，它将会穷尽所有的特征，直到停止条件。这时叶子节点的数目最多，而叶子节点越多则越容易发生过拟合缺少泛化能力。因此需要对决策树剪枝，剪枝策略主要有预剪枝(pre-pruning)和后剪枝(...
2019-09-13 15:27:15
3227
原创 第4.1章：决策树（decision tree）_特征选择&决策树生成
第4章：决策树决策树概述决策树概述决策树属于非线性模型，可以用于分类，也可用于回归。它是一种树形结构，可以认为是if-then规则的集合，是以实例为基础的归纳学习。基本思想是自顶向下，以信息增益（或信息增益比，基尼系数等）为度量构建一颗度量标准下降最快的树，每个内部节点代表对一个属性的测试（判断），直到叶子节点处只剩下同一类别的样本。决策树组成：重要程度高的做根节点，或者说根节点的效果会...
2019-09-11 16:15:17
2367
原创 第2.3章：逻辑回归（Logistic Regression）_案例实战02异常交易检测
第2.3章：逻辑回归_样本不均衡问题1.模型评估方法2.导入数据2.1数据预处理3.解决样本不均衡问题3.1 欠采样3.2 交叉验证与正则化3.2.1 划分train、test3.2.2 lambda与recall值3.3 混淆矩阵3.3.1 定义画图函数3.3.2 欠采样的混淆矩阵3.3.3 原数据的混淆矩阵3.4 逻辑回归的阈值3.5 不均衡数据建模3.6 过采样3.6.1 求lambda与r...
2019-08-27 22:43:27
863
原创 LogisticRegression.predict_proba使用效果
LogisticRegression.predict_proba使用效果API使用效果API链接使用效果函数传入测试集，predict_proba的返回值是一个矩阵，矩阵的index是对应第几个样本，columns对应第几个标签，矩阵中的数字则是第iii个样本的标签为jjj的概率值。区别于predict直接返回标签值。示例：[1 1 2]的意思是：第一组样本标签值为1、第二...
2019-08-27 15:17:09
5187
原创 sklearn.KFold用法示例
sklearn.KFold用法示例参数解释用法示例参数解释class sklearn.model_selection.KFold(n_splits=’warn’, shuffle=False, random_state=None)API文档将训练/测试数据集划分n_splits个互斥子集，每次用其中一个子集当作验证集，剩下的n_splits-1个作为训练集，进行n_splits次训练和...
2019-08-25 16:31:25
8270
4
原创 第3章：过拟合（over-fitting）与正则化(regularization)
对于一组数据集，如果我们得到了两个模型A和B，他们的精度和召回率都是相同的。而A模型中参数θ\thetaθ的波动范围比较大，B模型的θ\thetaθ波动范围比较小，那么我们倾向于选用B模型。因为参数波动大的话，可能是过拟合的一种表现，即在训练集中表现好而测试集表现差，也就是泛化能力差为了得到B模型，于是引入正则化，又分为L1正则化和L2正则化。L1正则化是给目标函数+C⋅∣θ∣C \cdot|...
2019-08-24 11:19:32
285
原创 DataFrame的插入函数df.insert
API原文链接参数详解注意：进行insert之后，会修改原数据，且不能用于赋值操作loc ： int #使用整型数据，是列数据插入的位置，必须是0到len(columns)之间的数column ： string, number, or hashable object #类型可以是字符串、数字或者object。表示列的标签名value ： int, Series, or ...
2019-08-14 17:36:38
3140
原创 第2.1章：逻辑回归（Logistic Regression）_原理推导&参数求解&模型评估
第2章：逻辑回归来源本章视频一、逻辑回归算法原理推导1.概述2.引入sigmoid函数3.假设函数4.似然函数5.目标函数来源Lecture_02本章视频03_数据分析处理库-Pandas、04_数据可视化库-Matplotlib、08_逻辑回归算法、09_案例实战：Python实现逻辑回归与梯度下降策略一、逻辑回归算法原理推导1.概述逻辑回归是一个经典的二分类算法，属于分类问题。...
2019-08-11 18:41:00
615
原创 第1.3章：线性回归（Linear Regression）_模型评估
转自：大话线性回归（二）、大话线性回归（三）本文为待加深学习内容，在此仅列举了框架，详细技术参考上面两篇来源简述一下流程：先搭建一个线性回归模型，运用梯度下降或者正规方程法可以求出参数，这样模型就确定了。之后再用一些检测方法，评估模型是否合理并进行优化。文中y^\hat{y}y^为预测值，y(i)y^{(i)}y(i)为实际值，xix_{i}xi表示第iii个变量（特征），x(...
2019-08-07 11:18:59
1693
原创 关于numpy、pandas中axis的理解
在学习numpy和pandas中，大多数情况下axis=0：表示按列操作； axis=1：表示按行操作。但是在pandas中，使用dropna函数时好像不是这样，通过查阅资料看到这样的说法：axis=0：作用对象是index； axis=1：作用对象是columns知乎参考CSDN参考此文姑且就当做是对异常情况的记录吧目录正常情况异常情况正常情况numpy中：axis=0...
2019-08-01 10:19:14
400
原创 第1.2章：线性回归（Linear Regression）_参数的求解
第1.2章：线性回归参数的求解来源本章视频视频06：线性回归算法原理推导视频07：线性回归参数的求解（求函数最小值）1.正规方程法2.梯度下降法梯度下降背后的思想梯度下降的迭代方法1.代数法2.矩阵法3.几点补充梯度下降的参数选取1.初始参数2.学习率（步长）3.特征缩放4.终止条件5.其他模型转化为线性模型3.梯度下降法家族批量梯度下降随机梯度下降小批量梯度下降文中xix_{i}xi表示第...
2019-07-14 11:22:10
2761
原创 第1.1章：线性回归（Linear Regression）_算法原理推导
第1章：线性回归来源本章视频视频06：线性回归算法原理推导1、概述关于回归问题与分类问题关于假设函数（预测函数）2、误差项分析误差高斯分布（正态分布）3、似然函数求解来源Lecture_01本章视频06、07视频06：线性回归算法原理推导1、概述关于回归问题与分类问题举一个银行贷款的例子：给定几组数据（年龄，工资，贷款额度）做为样本，当再次给一组数据（年龄，工资）时，预测出贷款额度...
2019-07-11 22:58:00
491
原创 LaTeX格式的数学公式写到word里
最近用word整理学习笔记，要用到复杂的数学公式，于是有了本文。目录word内置了公式编辑器LaTeX格式的数学公式怎么写到word里？问题来了，怎么得到LaTeX格式的数学公式呢？word内置了公式编辑器选择“插入”→“公式”可进入到公式编辑的页面，或者直接按快捷键“Alt加上+”用于编辑一些短的公式符号还凑合，但公式一旦复杂就显得麻烦了LaTeX格式的数学公式怎么写到word里...
2019-07-07 23:57:36
11348
14
原创 安装Anaconda，再安装Pycharm后，无法编译脚本文件（已解决）
运行.py的脚本时显示没有project interpreter，导致无法编译，原因是pycharm中选择的Python并非anaconda中安装的python只需要在PyCharm的settings（ File->settings->project:当前项目名->Project Interpreter）中设置一下Interpreter就可以了一开始啥都没有，要新增配置...
2019-06-22 15:26:41
2265
原创 写CSDN博客插入图片、插入空格、换行（markdown）、彩色字体、改字号、段首空两格排版
写CSDN博客插入图片直接插入本地图片的话也可以，不过当存储路径发生改变，图片就会读取不了。因此考虑将图片存在有道云笔记中，然后生成图片的网络链接，这样就不容易丢失图片。有道云里面新建一个笔记，将图片插入进去右键单击笔记，选择“分享”，会跳出一个带有链接的框将链接复制下来，用浏览器打开浏览器中右键单击要插入的图片，选择“复制图片地址”在markdown里面选择插入图片，将地址复制到“...
2019-06-12 18:21:13
1896
转载 CSDN-markdown编辑器（自用模板）
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2019-06-12 18:09:29
226
原创 第0章：机器学习基础知识
来源：Lecture_00系统选择。先使用windows，等到后面再考虑学习linux。笔记整理工具。Markdown。Markdown 语法手册 （较全、不过不详细）Markdown 语法图文全面详解Markdown 常用语法—标题、字体、引用、分割线、图片、链接、列表、表格、代码、流程图。补：关于插入本地图片LaTeX数学公式编辑。Latex公式指导手册...
2019-04-17 14:20:15
207
原创 GitHub的使用（持续更新）
1、GitHub注册：猎豹浏览器不支持注册，要用IE浏览器。2、关于GitHub的——fork。fork并且更新一个仓库：fork他的仓库（复制到自己的github）—→ clone到本地计算机 —→ 更新仓库文件 —→ 将更改push到GitHub仓库 —→ 可以给对方发一个pull requet，对方自由选择是否接受（纳入他的仓库） 同步一个fork：从对方仓库获取最新文...
2019-04-10 18:24:22
108
原创 PAT-乙级B1024-科学计数法转化为普通数字表示法（移动小数点法）
思路1、先将输入进行分类，即第一个数字及其符号、指数及其符号。2、如果第一个数字是负数，先打印一个 负号；如果指数为0，则第一个数字直接打印出来。3、分类讨论：正指数（以字符交换方式移动小数点） a、小数点往后移就行了，不需要加零，直接输出； b、小数点往后移不需要加零，但小数点要抹掉； c、小数点移到末端并改为零，且看情况加零3、分类讨论：负指数（以...
2019-02-14 23:00:11
374
原创 PAT-乙级B1014-福尔摩斯密码-处理字符串（有坑）
#include <stdio.h>int main(){ int i, count=0, count1=0, b[70]; char a1[70], a2[70], a3[70], a4[70], week[10][5]={"MON", "TUE", "WED", "THU", "FRI", "SAT", "SUN"};
2019-02-13 14:24:18
470
原创 PAT-乙级B1009-说反话（将含有空格的字符串分类存储于二维字符数组中）
#include<stdio.h>#include<string.h>int main(){ char a[85], b[50][85]; int len, count, i=0, j=0; gets(a); //字符串中间有空格，用gets来接收输入 len=strlen(a); for(count=0; count<l...
2019-02-12 17:56:46
178
2
原创 PAT-乙级B1002-二维字符数组初始化以及输出
#include <stdio.h>#include <string.h>int main(){ char n[105], pin[10][10]={"ling", "yi", "er", "san", "si", "wu", "liu", "qi", "ba"
2019-02-12 16:45:23
164
原创 PAT-乙级B1031-关于字符型数字转化为整型数字（有点东西）
思路每输入一个身份证进行一个核验：a、前17位是否存在非数字，不存在则进行加权求和 b、如果前17位全是数字，核验最后一位是否正确#include <stdio.h>int main(){ int n, i, j, z, count1, count=0, ...
2019-02-12 14:26:53
311
原创 PAT-乙级B1021-字符串形式输入数字
题目中提到：输入一个不超过 1000 位的正整数 N，故不能再用整型接收输入一： 整型输入，数字不能太大//仅适用于10位内的整数#include <stdio.h>int main(){ int n, temp, i, a[10]={0}; scanf("%d", &n); do { temp=n%10; a[temp]++; n...
2019-02-11 23:13:01
156
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人