我也要用- 博客(262)
- 资源 (3)
- 论坛 (1)
- 收藏
- 关注
RSS订阅原创 [强化学习] 时序差分学习
写在前面本文主要为学习sutton书中《时序差分学习》章节整理而来。一、引言1、蒙特卡洛方法回顾（1）预测问题蒙特卡洛的目标是根据策略π\piπ采样轨迹序列vπ(s)v_\pi(s)vπ(s)：S1,A1,R2,...,Sk∼πS_1,A_1,R_2,...,S_k \sim \piS1,A1,R2,...,Sk∼π。价值函数：vπ(s)=E(Gt∣St=s)v_\pi(s) = \mathcal{E}(G_t|S_t=s)vπ(s)=E(Gt∣St=s)累积奖励GtG_tGt
2020-05-11 12:33:36
255
原创 [强化学习] 蒙特卡洛方法
写在前面强化学习系列方法主要学习Sutton的书，本文主要讲使用蒙特卡洛做预测和控制涉及到的问题。一、动态规划的局限动态规划中状态价值更新函数为：V(k+1)(S)=∑A∈Aπ(A∣S)(RSA+γ∑S′∈SPSS′AV(k)(S′))V^{(k+1)}(S) = \sum_{A \in \mathcal{A}} \pi(A|S) (R_S^A + \gamma \sum_{S' \in...
2020-03-28 10:42:43
592
原创 [强化学习] 有限马尔科夫决策过程
<h3>写在前面</h3>强化学习系列博客主要学习sutton的书，有些内容来自Google DeepMind的David Silver的PPT，再此声明。<h3>一、马尔可夫过程</h3><center><img width="70%" src="https://img-blog.csdnimg.cn/20200313214937899.png"/></center>如上图所示，在强化学习的过程中，Agent与Environment一直交互。在时刻$t$，Agent接收来自环境的状态$S_
2020-03-14 14:05:41
434
原创 [强化学习] 多臂赌博机
<h3>写在前面</h3>今天的博客主要是针对多臂赌博机中探索与利用问题的一些解决算法的讲解。本文是由suttom的书学习而来，本文有些图片来自来自David Silver的公开课，在此先声明一下。多臂赌博机问题其实很早就有，那时候强化学习还没有流行，强化学习发展到现在已经比较流行，大家发现强化学习中的探索与利用问题很早就出现在了多臂赌博机里，所以在介绍强化学习的时候都会提到多臂赌博机的问题。<h3>一、简介</h3><h4>1、多臂赌博机的问题</h4>多臂赌博机就是有很多台带着拉杆的
2020-03-07 17:33:46
680
3
原创 [强化学习] 概念、举例、分类
<h2> 写在前面</h2>本文主要是学习sutton的书--强化学习绪论部分的整理，这里为了更好地理解，扩展了一些书上的内容。例子来源于网上，后续介绍的时候我会加上来源；还有部分PPT内容参考台大李宏毅老师的PPT以及Google DeepMind的David Silver的PPT，后续会注明！~~<h2>一、强化学习概念</h2><h3>1、基本概念</h3>在进入强化学习之前，这里先讲一个例子：> 小时候刚上学的时候，第一天老师布置了作业，我很认真地完成了它，然后得到了一朵小红花；第
2020-03-03 20:12:30
803
1
原创 mac下matplotlib中文字体无法显示解决方法
一、环境描述python 3.7mac 10.14.5二、问题描述如下图所示，当使用matplotlib绘制图片的时候，所有的中文字符无法正常显示。三、解决方法1、下载字体ttf文件链接:https://pan.baidu.com/s/1RLVvbIi_NpAiiycBYQRPCQ 密码:n1sv2、找到配置文件使用如下代码找到配置文件：import matplotli...
2019-12-05 09:53:32
2988
7
原创 [强化学习] off-policy和on-policy、Q-learning和Sarsa的区别、Sarsa-lambda、Q-lambda
本文主要包括：Q-learning基础、根据Q-learning思想分析一个代码。
2019-05-11 16:11:11
2145
原创 迁移学习(Transfer Learning)
本博客主要是台湾大学-李宏毅老师的公开课的总结。一、简介迁移学习主要是指将已有数据的领域知识迁移到数据缺乏的领域任务中，下面简单介绍下：出现原因迁移学习主要用于将源域(source domain)的知识迁移到目标域(target domain)，也可以理解为源域的数据辅助目标域数据的决策。其出现的主要原因是目标域数据较少，若仅仅使用目标域的数据，不足以训练一个比较好的模型，所以我们借助...
2019-05-10 13:53:13
1104
原创 [歌曲推荐] 基于语义信息的歌曲推荐
总体介绍本版本主要基于word2vec，后续还有一些改进想法，会继续更新。本项目主要包括如下内容：(1) 网易云音乐歌曲信息的爬取（歌手姓名、歌曲名、歌词、评论数、歌曲id）。(2) 使用word2vec对歌曲进行表示表示。(3) 基于word2vec对歌曲进行推荐以及web系统展示，支持歌手名、歌手+关键词和关键词查询。除此之外，涉及...
2019-04-15 20:31:54
1077
9
原创 GBDT和Xgboost：原理、推导、比较
写在前面网上有很多关于GBDT和Xgboost的文章，但是我在读的时候感觉对于提升树、GBDT和Xgboost之间的关系，以及他们和残差、梯度的关系，所以自己整理了一下，涉及的知识点比较多。Xgboost证明部分主要来源于论文，这里加入了自己的理解，以及对几者关系的说明。在看本篇博文之前可以先看下提升树的相关内容，这样理解起来会思路更清晰。提升树、GBDT和Xgboost的简单介绍如下：...
2019-03-23 23:00:10
3183
10
原创 [激活函数] 非线性原因分析、Sigmoid、TanH、ReLU和ELU
本篇主要整理下激活函数的相关内容。首先讲下激活函数需要满足的条件：计算简单非线性为什么需要满足非线性呢？我们来看下面这个例子。如图单隐层神经网络，我们在计算的时候有如下公式：z1(2)=w[1]x+b[1]a1(2)=g[1](z1(2))\begin{aligned}z_1^{(2)} &= w^{[1]}x+b^{[1]} \\a_1^{(2)} &am...
2019-03-20 12:11:54
2791
原创 [Mysql] 聚集函数：NULL是否包含在内(包括count(1)和count(*)的比较)
本篇博客主要整理并亲自验证一下count(*), count(1)和count(column-name)的区别，本部的内容主要参考stackoverflow，除此之外，对聚集函数中是否包含NULL值进行了验证。本文所有测试数据基于macOS10.14.3，mysql5.7.25。一、数据本文主要使用2张数据表，分别是user和product表，其中，user表的“name”和“product...
2019-03-18 20:26:16
1869
原创 [优化方法] 梯度下降法、最小二乘法、牛顿法、拟牛顿法、共轭梯度法
一、梯度下降法1、算法原理关于梯度的优化优化方法主要包括梯度上升和梯度下降，如果想要求最大值，则使用梯度上升法，如果想要去最小值，则使用梯度下降法。本文主要讲梯度下降法，梯度下降法是指参数不断沿着负梯度方向不断更新，直到最小值，其形象化表示如下图：如上图所示，在A处找到其梯度下降最快的方向，沿着此方向走到A1点，接着在A1点沿着下降最快的方向走到A2点，直到最终走到AEnd点。那为什么会...
2019-03-17 22:50:21
1953
原创 [布隆过滤器BloomFilter] 举例说明+证明推导
写在前面网上有很多写布隆过滤器的博客，但是大部分都是只关注一个点，不能非常好的从原理到应用理解，所以这里对布隆过滤器进行了整理。很多思想和例子都来自网上的的一些博客，非常感谢这些可爱哒人儿的付出，这里会尽量整理的比较详细，规整，有头有尾。一、引例在提到实现去重功能时，大部分人都会直接选择HashSet，HashSet可以起到去重的效果，并且其时间复杂度为O(1)O(1)O(1)，但是其存在的...
2019-03-13 12:49:30
2371
原创 [交叉熵损失和accuracy关系] 验证集上val-loss先降低再增加，而val-accuracy一直在增加
在上一篇博文（[歌词生成] 基于LSTM语言模型和seq2seq序列模型：数据爬取、模型思想、网络搭建、歌词生成）中，seq2seq训练之后，我们发现其在训练集合验证集上loss和accuracy变化如下：我们首先来回顾一下过拟合的基本表现：训练集loss不断降低，但是测试集的loss开始不断增加。再来看我们这个情况，看右边2个loss的图，在第15个epoch之前，训练集上的loss不断...
2019-01-09 15:42:11
20514
41
原创 [歌词生成] 基于LSTM语言模型和seq2seq序列模型：数据爬取、模型思想、网络搭建、歌词生成
非常好奇强大的生成技术，写了这个小项目。模型优化无止境，这只是初步的模型，有时间我也会不断优化。本文主要对中文歌词进行自动生成。主要使用了基于概率语言模型的方法和基于seq2seq的方法进行生成。本文所有代码地址：[Github](https://github.com/Nana0606/Lyrics-generation)
2019-01-09 11:02:34
4033
8
原创 [实例] 特征选择方法、网格搜索调参、不平衡处理、pu-learning
写在前面本篇博客主要包括以下内容：（1）特征选择方法介绍（2）基于科研人员导师/学生分类实例应用特征选择方法，参数选择使用的是网格搜索。注： 很多内容是网上学习而得，感谢大佬们的分享~参考文献：[1] https://blog.csdn.net/fontthrone/article/details/79004874[2] http://www.cnblogs.com/stevenl...
2018-12-28 22:07:53
3700
6
原创 hive sql语句和mysql用法区别存档
写在前面以下功能版本：mysql版本：5.6.17hive版本：2.2.41、GROUP_CONCAT先看下面数据表test_group:（1）简单情况需求如下： 写出一个sql语句，按照category分组，并把组内的name使用“; ”分隔符连接。①mysql中SELECT category, GROUP_CONCAT(name SEPARATOR &amp;amp;amp;quot;; &amp;amp;amp;quo
2018-12-25 15:10:32
10775
2
原创 [Centos-Docker] Docker-gpu安装及docker中jupyter配置
写在前面OS版本：centos7Anaconda版本：3.5一、Docker安装安装教程链接：https://github.com/ufoym/deepo#GPU，执行如下图的Step1和Step2：Step1中的使用yum安装命令如下：$ yum install docker$ yum install nvidia-docker注意： image类似操作系统镜像文件等，一个i...
2018-12-14 13:17:06
1413
原创 Keras: Merge和merge区别、Sequencial()和Model()区别
本篇博客主要整合一些本人在阅读时感觉很有用的连接，非原创。一、Merge和merge简介Keras中提供了Merge和merge两个不同的功能（新的版本中可能Merge功能已经删除，亲测：Keras2.0.4中Merge和merge功能都是存在的，但是Keras2.2.4中Merge功能已经删除）。关于这两者的区别，请详见链接：“Merge” versus “merge”, what is...
2018-12-05 10:29:55
11260
1
原创 [CNN] 卷积、反卷积、池化、反池化
之前一直太忙，没时间整理，这两天抽出点时间整理一下卷积、反卷积、池化、反池化的内容。一、卷积1、卷积的简单定义卷积神经网络中的卷积操作可以看做是输入和卷积核的内积运算。其运算过程非常容易理解，下面会有详细解释。2、举例解释（1）为了方便直接解释，我们首先以一个通道为例进行讲解，首先明确概念：1） 输入是一个5*5的图片，其像素值如下：[11100011100011100110011...
2018-11-28 17:03:55
12610
16
原创 [自编码器：理论+代码]：自编码器、栈式自编码器、欠完备自编码器、稀疏自编码器、去噪自编码器、卷积自编码器
写在前面因为时间原因本文有些图片没有自己画，来源网络的图片我尽量注出原链接，但是有点的链接已经记不得了，如果有使用到您的图片，请联系我，必注释。自编码器及其变形很多，本篇博客目前主要基于普通自编码器、欠完备自编码器、稀疏自编码器和去噪自编码器，会提供理论+实践（有的理论本人没有完全理解，就先没有写上，后更）。另外，关于收缩自编码器、变分自编码器、CNN自编码器、RNN自编码器及其自编码器的应用...
2018-11-25 09:25:24
16544
46
转载 Latex中PDF文档目录乱码解决方案
原文链接：Latex学习笔记(二：PDF文档目录乱码) 存在问题先看问题未解决之前的图片，如下图：出现乱码的原因是：若是你用的ctex 注意如下几个参数：CJKbookmarks=true, ctex默认会用 gbk2uni 处理文档。解决方法1.在Ctex上找到命令执行按钮，见下图：2.检查目录，即tex上方显示的目录，跟DOS窗口目录对比如果目录不一致用基本命令转换cd...
2018-11-19 11:07:02
3532
原创 Paper Summary： Record Linkage
1、Ranking Scientific Articles by Exploiting Citations, Authors, Journals, and Time Information（2013年@AI）论文目的（1）如何综合各种因素在异构网络上对论文进行排名？ （2）如何利用时间这个特性，因为引用量每天都是变化的，变化的引用量构成了一个动态的网络关系，一个近期才发表的论文，虽然当前...
2018-11-07 12:01:23
1624
原创 Paper Summary: Neural Machine Translation
一、 Sequence to Sequence Learning with Neural Networks1、提出背景：（1）虽然DNN可以解决现实生活中的很多问题，但是在解决机器翻译过程中，主要的问题是其输入和输出的长度一致。（也许可以通过padding等方式使得输入和输出长度变得不一样，比如输入是10，固定输出也是10，如果输出是5，则将剩下的5个输出使用null填充等，但是这样不太合适，...
2018-11-07 11:17:20
617
原创 seq2seq model和Attention-based seq2seq Model(动图展示)
写在前面本文主要整理了最简单的seq2seq learning，以及加入Attention思想后的seq2seq model，大多数内容来自台达李宏毅老师的课上内容，加了一些自己理解的有疑问的点。涉及论文：Sequence to Sequence Learning with Neural Networks.seq2seq来源在seq2seq出现之前，DNN可以处理很多问题，并且取得了很好的...
2018-10-23 22:10:31
2148
4
原创 PageRank算法和HITS算法
PageRank是google搜素算法用到的算法思想。关于PageRank的背景网上有很多，这里不再介绍，下面本文将从以下方面介绍PageRank：PageRank原理PageRank举例PageRank实现使用networkX调用pagerank算法一、PageRank原理PageRank算法主要应用在搜索引擎的搜索功能中，其主要用来计算网页的重要程度，将最重要的网页展示在网...
2018-07-27 13:04:57
4903
1
原创 centos命令记录: nohup后台运行命令+pip3指定软件版本安装
一、运行python命令因为centos系统自带python2.7，但是代码使用的py版本是python3.6，因此又安装了python3.6，为了避免冲突，py3.6的代码调用命令如下： 1、运行author.py文件python3 author.py2、运行scrapy的程序，比如程序名称为“paper_1”，则运行命令如下：python3 -m scrapy cra...
2018-07-07 14:14:20
3316
原创 .pgm图片简介以及Python读取.pgm图片的方法
一、什么是.pgm图片？.pgm文件由于模式的不同其数据存储方式也有所不同，下面介绍P2和P5模式的.pgm文件的格式。1、P2模式的.pgm文件P2模式的.pgm文件存储如下图所示： 其内容释义如下： ①第一行内容“P2”表示.pgm文件的模式。 ②第二行“128, 120”表示图片的宽度、图片的高度。 ③第三行“156”表示图片数据的最大值。 ④第三...
2018-07-03 21:55:21
17194
原创 [TensorFlow] argmax, softmax_cross_entropy_with_logits, sparse_softmax_cross_entropy_with_logits函数详解
1、tensorflow.nn.sparse_softmax_cross_entropy_with_logits2、tensorflow.argmax
2018-05-24 22:05:24
1000
原创 Python3: fp-growth频繁项集求解算法代码（提供py文件，可直接调用）
一、写在前面fp-growth算法是一个生成频繁项集的算法，其主要利用了FP树的数据结构，整个生成过程只需要遍历数据集2次。本fp-growth代码是基于开源代码fp-growth的实现（github代码：https://github.com/enaeseth/python-fp-growth），但是Eric的代码只支持python2.x，由于python3的变动，代码无法提供支持。本文也...
2018-05-13 16:59:00
8076
24
原创 Python: read(), readline()和readlines()使用方法及性能比较
一、使用方法# python3# -*- coding: utf-8 -*-# @Time : 2018/4/27 13:48import datetime# 下面是read()方法的使用，“r”表示readwith open('testRead.txt', 'r', encoding='UTF-8') as f1: results = f1.read() ...
2018-04-27 22:32:09
20066
1
原创 神经网络解决Logistic回归问题及公式向量化推导
一、Logistic问题描述1、训练集和测试集表示(1) 有m个训练样本，训练集表示为：{(x(1),y(1)),(x(2),y(2)),...,(x(m),y(m))}{(x(1),y(1)),(x(2),y(2)),...,(x(m),y(m))}\{(x^{(1)},y^{(1)}), (x^{(2)},y^{(2)}), ..., (x^{(m)},y^{(m)})\}。其向量化表...
2018-04-22 21:55:19
1817
1
原创 StanfordCoreNLP: 英文句子词性还原、词干标注工具包简单使用（Java）
一、说明StanfordCoreNLP是Stanford开发的关于自然语言处理的工具包，其包括分词、词性还原以及词性标注等很多功能。具体可参考官网：https://stanfordnlp.github.io/CoreNLP/。 这里主要是将其词性还原功能的简单使用。二、下载和使用1、下载地址：https://stanfordnlp.github.io/CoreNLP/，下载界面如下图：...
2018-04-17 14:53:52
4973
1
原创 Jmeter中正则表达式提取器使用详解
在使用Jmeter过程中，会经常使用到正则表达式提取器提取器，虽然并不直接涉及到请求的测试，但是对于数据的传递起着很大的作用，本篇博文就是主要讲解关于正则表达式及其在Jmeter的Sampler中的调用。一、首先来介绍一下J meter中正则表达式提取器的元素组成，下图所示：下面是各参数值的含义： 参数 释义 引用名称 在HTTP等请求中，引用此数据，需...
2018-04-11 21:32:29
84304
11
原创 MySQLdb在Windows、Ubuntu和CentOS中安装方法（Python3.6）
说明MySQLdb在Python3中对应的安装应该是mysqlclient，其在windows、Ubuntu和CentOS上的安装方法都不一样，具体请看下文。一、Win中安装方法在命令行中输入一下命令（前提是支持pip指令）：pip3 install mysqlclient （若是python2，请使用pip）二、Ubuntu中安装方法在命令行中输入一下命令：ap...
2018-04-04 20:09:37
921
转载 pip错误：TypeError: parse() got an unexpected keyword argument 'transport_encoding'
Win10，ANACONDA3(64-bit)，Python3.6.2。ANACONDA Prompt中不能用pip命令安装包，并且是在安装了TensorFlow后才发生的。报错如下：Exception: Traceback (most recent call last): File "C:\ProgramData\Anaconda3\lib\site-packages\pip...
2018-04-04 20:00:01
589
原创 安装Pytorch的小坑简记
尝试装pytorch，官网上的介绍比较简单，但是安装过程中出现了一些问题，记录一下，不一定对所有机器都适用。写在前面环境如下：Ubuntu16.04（自带python2.7）一、版本问题最开始使用是Anaconda3-4.3.1，其自带的是python3.6，Pytorch官网上虽然给出了python3.6对应的命令，但是在本机安装不成功，最后安装成功的版本如下： Ana...
2018-03-29 21:27:00
6916
1
原创 次梯度（subgradient）方法
写在前面本篇博客来自其他几篇博客的整合（详见参考文献），主要是提取了一些利于自己理解的小点。一、为什么需要次梯度方法次梯度方法是传统梯度下降算法的拓展，传统梯度下降算法是为了解决可导凸函数的问题，而次梯度方法主要是为了解决不可导梯度的问题。但是其算法收敛速度会相对较慢。二、次梯度的定义次梯度是指对于函数fff上的点xxx满足一下条件的g∈Rng∈Rng \in \mathb...
2018-03-23 21:05:24
10293
10
nana-li的留言板
发表于 2020-01-02 最后回复 2020-01-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝