自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

工作笔记

从科学家手里,接取火种,然后燎原大地。。。

翻译 系统学习NLP(三十一)--基于CNN句子分类

这篇文章翻译自A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification 近年来,卷积神经网络在句子分类任务上取得了显著的成绩(...

2020-01-25 22:22:24 524 0

转载 系统学习NLP(三十)--词向量对齐

这块,也可以参考facebook的https://www.jiqizhixin.com/articles/under-the-hood-multilingual-embeddings 关于词向量对齐的历史方法,可以看这里:https://blog.csdn.net/xacecaSK2/artic...

2019-12-06 14:02:37 993 0

转载 系统学习NLP(二十九)--BERT

补充一份细节的理解:https://zhuanlan.zhihu.com/p/74090249 输入嵌入:https://www.cnblogs.com/d0main/p/10447853.html 1. 前言 在本文之前我们已经介绍了ELMo和GPT的两个成功的模型,今天给大家介绍goog...

2019-12-05 22:19:14 420 0

转载 系统学习NLP(二十八)--GPT

论文:Improving Language Understandingby Generative Pre-Training 1. 前言 本文对2018年OpenAi提出的论文《Improving Language Understandingby Generative Pre-Trainin...

2019-12-02 23:50:51 282 0

转载 系统学习NLP(二十七)--EMLo

论文:Deep contextualized word representations 参考:https://www.cnblogs.com/huangyc/p/9860430.html https://blog.csdn.net/firesolider/article/details/880...

2019-12-02 23:14:17 269 0

转载 系统学习NLP(二十六)--NBSVM

论文:Baselines and Bigrams: Simple, Good Sentiment and Topic Classification 参考:https://blog.csdn.net/leayc/article/details/80037757跟原文有一定差异,理解不一致。 朴素...

2019-11-30 17:56:27 295 0

转载 系统学习NLP(二十五)--语种识别landID

一.项目简介 1.1  LangID & langid Langid是一个现成的语言识别工具。语言识别(LangID)可用于USENET信息,网络搜索词,多语言文本检索,语法分析等领域。从1990年起,LangID就被视为有监督的机器学习任务,并极大地受到文本分类(t...

2019-11-24 14:43:14 314 0

转载 系统学习NLP(二十一)--关键词提取算法总结

先说一下自动文摘的方法。自动文摘(Automatic Summarization)的方法主要有两种:Extraction和Abstraction。其中Extraction是抽取式自动文摘方法,通过提取文档中已存在的关键词,句子形成摘要;Abstraction是生成式自动文摘方法,通过建立抽象的语意...

2019-11-18 16:48:03 3009 6

转载 系统学习机器学习之特征工程(四)--分箱总结

首先from wiki给出一个标准的连续特征离散化的定义: 在统计和机器学习中,离散化是指将连续属性,特征或变量转换或划分为离散或标称属性/特征/变量/间隔的过程。这在创建概率质量函数时非常有用 - 正式地,在密度估计中。它是一种离散化的形式,也可以是分组,如制作直方图。每当连续数据离散化时,总...

2019-11-18 13:27:15 742 1

转载 常用数据分析方法总结

最近优化一个画像产品,用到一些数据分析方法,这里总结一下。 主要参考:https://www.jianshu.com/p/809fb2261b23,补充一些细节 一、描述统计 描述统计是通过图表或数学方法,对数据资料进行整理、分析,并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述...

2019-11-02 14:06:43 1118 0

原创 我要图标~

我要图标~,文章以后补~

2019-10-24 19:37:54 141 0

原创 系统学习机器学习之特征工程(三)--多重共线性

什么是多重共线性? 回归中的多重共线性是一个当模型中一些预测变量与其他预测变量相关时发生的条件。严重的多重共线性可能会产生问题,因为它可以增大回归系数的方差,使它们变得不稳定。以下是不稳定系数导致的一些后果: 即使预测变量和响应之间存在显著关系,系数也可能看起来并不显著。 高度相关的预测变量...

2019-10-18 09:54:50 933 0

转载 图神经网络(一)--综述

图是一种数据结构,它对一组对象(节点)及其关系(边)进行建模。近年来,由于图结构的强大表现力,用机器学习方法分析图的研究越来越受到重视。图神经网络(GNN)是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性,GNN 最近已成为一种广泛应用的图分析方法。 GNN 的第一个动机源于卷...

2019-08-27 10:34:33 423 0

转载 用户画像

这里不包含算法、技术、架构内容,因为相对来说,用户画像落地比较简单,难的是用户画像的价值落地。 用户画像是一个挺新颖的词,最初它是大数据行业言必及之的时髦概念。现在我们谈及用户画像,它也是和精准营销、精细化运营直接钩挂的。这篇文章主要讲产品运营角度的用户画像。 什么是用户画像 用户画像一点也...

2019-08-08 23:21:35 384 0

转载 系统学习机器学习之总结(三)--多标签分类问题

补充:(1)、Guide To Multi-Class Multi-Label Classification With Neural Networks In Python(2)、多标签分类(multilabel classification )1、使用caffe训练一个多标签分类/回归模型2、ke...

2019-08-04 15:17:07 645 1

转载 系统学习NLP(二十六)--BERT详解

转自:https://zhuanlan.zhihu.com/p/48612853 前言 BERT(BidirectionalEncoderRepresentations fromTransformers)近期提出之后,作为一个Word2Vec的替代者,其在NLP领域的11个方向大幅刷新了精度,...

2019-07-24 10:39:50 794 0

转载 系统学习NLP(二十四)--详解Transformer (Attention Is All You Need)

转自:https://zhuanlan.zhihu.com/p/48508221 推荐:http://jalammar.github.io/illustrated-transformer/ 前言 注意力(Attention)机制[2]由Bengio团队与2014年提出并在近年广泛的应用在深度...

2019-07-18 16:58:07 419 0

转载 系统学习NLP(二十三)--浅谈Attention机制的理解

转自:https://zhuanlan.zhihu.com/p/35571412 Attentin机制的发家史 Attention机制最早是应用于图像领域的,九几年就被提出来的思想。随着谷歌大佬的一波研究鼓捣,2014年google mind团队发表的这篇论文《Recurrent Models...

2019-07-18 16:48:17 551 0

转载 系统学习深度学习(四十三)--GAN简单了解

转自:https://www.leiphone.com/news/201706/ty7H504cn7l6EVLd.html 之前 GAN网络是近两年深度学习领域的新秀,火的不行,本文旨在浅显理解传统GAN,分享学习心得。现有GAN网络大多数代码实现使用Python、torch等语言,这里,后面...

2019-06-26 00:23:02 735 0

转载 系统学习深度学习(四十二)--从AE到VAE

转自:https://www.atyun.com/17976.html AE 自编码器是一种无监督学习技术,利用神经网络进行表征学习。也就是说,我们设计一个在网络中施加“瓶颈”,迫使原始输入压缩知识表示的神经网络架构。如果输入特征彼此独立,则该压缩和随后的重构将是非常困难的任务。但是,如果数据...

2019-06-25 15:23:06 1119 0

转载 系统学习机器学习之弱监督学习(三)--Adversarial Autoencoders

转自:https://blog.csdn.net/hjimce/article/details/54411244

2019-06-25 13:11:02 360 0

转载 系统学习机器学习之弱监督学习(一)--弱监督学习综述

摘要:监督学习技术通过学习大量训练样本来构建预测模型,其中每个训练样本都有一个标签标明其真值输出。尽管当前的技术已经取得了巨大的成功,但是值得注意的是,由于数据标注过程的高成本,很多任务很难获得如全部真值标签这样的强监督信息。因此,能够使用弱监督的机器学习技术是可取的。本文综述了弱监督学习的一些研...

2019-06-25 10:18:44 739 0

原创 系统学习机器学习之弱监督学习(二)--半监督学习综述

一、半监督学习 1-1、什么是半监督学习 让学习器不依赖外界交互、自动地利用未标记样本来提升学习性能,就是半监督学习(semi-supervised learning)。 要利用未标记样本,必然要做一些将未标记样本所揭示的数据分布信息与类别标记相联系的假设。假设的本质是“相似的样本拥有相似的...

2019-06-22 12:28:26 2722 0

转载 系统学习深度学习(四十一)--AlphaGo Zero强化学习原理

转自:https://www.cnblogs.com/pinard/p/10609228.html 本篇主要参考了AlphaGo Zero的论文,AlphaGo Zero综述和AlphaGo Zero Cheat Sheet。 1.AlphaGo Zero模型基础     AlphaGo Z...

2019-06-16 21:00:21 624 0

转载 系统学习深度学习(四十)--基于模拟的搜索与蒙特卡罗树搜索(MCTS)

转自:https://www.cnblogs.com/pinard/p/10470571.html 1.基于模拟的搜索概述     什么是基于模拟的搜索呢?当然主要是两个点:一个是模拟,一个是搜索。模拟我们在上一篇也讨论过,就是基于强化学习模型进行采样,得到样本数据。但是这是数据不是基于和环境...

2019-06-16 20:58:22 660 0

转载 系统学习深度学习(三十九)--基于模型的强化学习与Dyna算法框架

转自:https://www.cnblogs.com/pinard/p/10384424.html 在前面我们讨论了基于价值的强化学习(Value Based RL)和基于策略的强化学习模型(Policy Based RL),本篇我们讨论最后一种强化学习流派,基于模型的强化学习(Model Ba...

2019-06-16 20:11:15 1201 3

转载 系统学习深度学习(三十八)--深度确定性策略梯度(DDPG)

转自:https://www.cnblogs.com/pinard/p/10345762.html 1. 从随机策略到确定性策略     从DDPG这个名字看,它是由D(Deep)+D(Deterministic)+ PG(Policy Gradient)组成。PG(Policy Gradie...

2019-06-16 19:34:33 1373 0

转载 系统学习深度学习(三十七)--A3C

转自:https://www.cnblogs.com/pinard/p/10334127.html 1. A3C的引入     上一篇Actor-Critic算法的代码,其实很难收敛,无论怎么调参,最后的CartPole都很难稳定在200分,这是Actor-Critic算法的问题。但是我们还是...

2019-06-16 19:31:29 289 0

转载 系统学习深度学习(三十六)--Actor-Critic

转自:https://www.cnblogs.com/pinard/p/10272023.html 1.Actor-Critic算法简介     Actor-Critic从名字上看包括两部分,演员(Actor)和评价者(Critic)。其中Actor使用我们上一节讲到的策略函数,负责生成动作(...

2019-06-16 18:23:55 792 0

转载 系统学习深度学习(三十五)--策略梯度(Policy Gradient)

转自:https://www.cnblogs.com/pinard/p/10137696.html 在前面讲到的DQN系列强化学习算法中,我们主要对价值函数进行了近似表示,基于价值来学习。这种Value Based强化学习方法在很多领域都得到比较好的应用,但是Value Based强化学习方法也...

2019-06-16 18:07:12 994 0

转载 系统学习深度学习(三十四)--Dueling DQN

转自:https://www.cnblogs.com/pinard/p/9923859.html 1.Dueling DQN的优化点考虑     在前面讲到的DDQN中,我们通过优化目标Q值的计算来优化算法,在Prioritized Replay DQN中,我们通过优化经验回放池按权重采样来优...

2019-06-16 17:59:12 713 0

转载 系统学习深度学习(三十三)--Prioritized Replay DQN

转自:https://www.cnblogs.com/pinard/p/9797695.html 1.Prioritized Replay DQN之前算法的问题     在Prioritized Replay DQN之前,我们已经讨论了很多种DQN,比如Nature DQN, DDQN等,他们...

2019-06-16 13:57:46 376 0

转载 系统学习深度学习(三十二)--Double DQN (DDQN)

转自:https://www.cnblogs.com/pinard/p/9778063.html 1. DQN的目标Q值计算问题     在DDQN之前,基本上所有的目标Q值都是通过贪婪法直接得到的,无论是Q-Learning, DQN(NIPS 2013)还是 Nature DQN,都是如此...

2019-06-16 13:44:56 742 0

转载 系统学习深度学习(三十一)--Nature DQN(NIPS 2015)

转自:https://www.cnblogs.com/pinard/p/9756075.html 1. DQN(NIPS 2013)的问题     在上一篇我们已经讨论了DQN(NIPS 2013)的算法原理和代码实现,虽然它可以训练像CartPole这样的简单游戏,但是有很多问题。这里我们先...

2019-06-16 13:37:46 634 0

转载 系统学习深度学习(三十)--Deep Q-Learning

转自:https://www.cnblogs.com/pinard/p/9714655.html 1. 为何需要价值函数的近似表示     在之前讲到了强化学习求解方法,无论是动态规划DP,蒙特卡罗方法MC,还是时序差分TD,使用的状态都是离散的有限个状态集合S。此时问题的规模比较小,比较容易...

2019-06-15 22:59:20 1086 1

转载 系统学习机器学习之增强学习(六)--马尔可夫决策过程策略TD求解(Q-learning)

转自:https://www.cnblogs.com/pinard/p/9669263.html 1. Q-Learning算法的引入         Q-Learning算法是一种使用时序差分求解强化学习控制问题的方法,回顾下此时我们的控制问题可以表示为:给定强化学习的5个要素:状态集S, ...

2019-06-15 22:48:55 926 0

转载 系统学习机器学习之增强学习(五)--马尔可夫决策过程策略TD求解(SARSA)

转自:https://www.cnblogs.com/pinard/p/9529828.html 1.时间差分法(temporal difference) 蒙特卡洛方法,需要所有的采样序列都是经历完整的状态序列。如果我们没有完整的状态序列,那么就无法使用蒙特卡罗法求解了。本文我们就来讨论可以不...

2019-06-15 14:03:28 491 0

原创 系统学习机器学习之增强学习(四)--马尔可夫决策过程策略MC求解

1.蒙特卡罗方法(Monte Carlo methods) 1. 蒙特卡罗方法的基本思想 蒙特卡罗方法又叫统计模拟方法,它使用随机数(或伪随机数)来解决计算的问题,是一类重要的数值计算方法。该方法的名字来源于世界著名的赌城蒙特卡罗,而蒙特卡罗方法正是以概率为基础的方法。 一个简单的例子可以解...

2019-06-15 13:51:52 206 0

原创 系统学习机器学习之增强学习(三)--马尔可夫决策过程策略DP求解及参数估计

1. 值迭代和策略迭代法 上节系统学习机器学习之增强学习(二)--马尔可夫决策过程我们给出了迭代公式和优化目标,这节讨论两种求解有限状态MDP具体策略的有效算法。这里,我们只针对MDP是有限状态、有限动作的情况,。 * 值迭代法 1、 将每一个s的V(s)初始化为0 2、...

2019-06-15 12:49:25 446 0

转载 系统学习机器学习之增强学习(一)--模型基础

转自:https://www.cnblogs.com/pinard/p/9385570.html 从今天开始整理强化学习领域的知识,主要参考的资料是Sutton的强化学习书和UCL强化学习的课程。这个系列大概准备写10到20篇,希望写完后自己的强化学习碎片化知识可以得到融会贯通,也希望可以帮到更...

2019-06-15 12:09:22 814 1

提示
确定要删除当前文章?
取消 删除