- 博客(697)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 系统学习深度学习（三十九）--基于模型的强化学习与Dyna算法框架
转自：https://www.cnblogs.com/pinard/p/10384424.html在前面我们讨论了基于价值的强化学习(Value Based RL)和基于策略的强化学习模型(Policy Based RL)，本篇我们讨论最后一种强化学习流派，基于模型的强化学习(Model Based RL)，以及基于模型的强化学习算法框架Dyna。1.基于模型的强化学习简介 ...
2019-06-16 20:11:15
3242
4
转载 图嵌入（一）--综述
转自：https://zhuanlan.zhihu.com/p/62629465最近在学习Embedding相关的知识的时候看到了一篇关于图嵌入的综述，觉得写的不错便把文章中的一部分翻译了出来。因自身水平有限，文中难免存在一些纰漏，欢迎发现的知友在评论区中指正。目录一、图嵌入概述二、图嵌入的挑战三、图嵌入的方法一、图嵌入概述图，如社交网络、单词共存网络和通信网络，广泛地存在于各种现实应用中。通过对它们的分析，我们可以深入了解社会结构、语言和不同的交流模式，因此图一直是学界研究的热
2021-01-25 20:00:30
3145
2
转载 图神经网络（二）--GNNs
转自：https://zhuanlan.zhihu.com/p/75307407目录一、什么是图神经网络二、有哪些图神经网络三、图神经网络的应用一、什么是图神经网络？在过去的几年中，神经网络的兴起与应用成功推动了模式识别和数据挖掘的研究。许多曾经严重依赖于手工提取特征的机器学习任务（如目标检测、机器翻译和语音识别），如今都已被各种端到端的深度学习范式（例如卷积神经网络（CNN）、长短期记忆（LSTM）和自动编码器）彻底改变了。曾有学者将本次人工智能浪潮的兴起归因于三个条件，分别是：
2021-01-25 16:42:20
3157
转载 社区发现（一）--算法综述
基础概念简介：https://baike.baidu.com/item/%E7%A4%BE%E5%8C%BA%E5%8F%91%E7%8E%B0%E7%AE%97%E6%B3%95/194603961. 社区发现简介社区，从直观上来看，是指网络中的一些密集群体，每个社区内部的结点间的联系相对紧密，但是各个社区之间的连接相对来说却比较稀疏（图1，当然社区的定义不止有这一种）。这样的社区现象被...
2019-06-09 14:58:25
15543
1
转载 系统学习NLP（二十四）--详解Transformer （Attention Is All You Need）
转自：https://zhuanlan.zhihu.com/p/48508221推荐：http://jalammar.github.io/illustrated-transformer/前言注意力（Attention）机制[2]由Bengio团队与2014年提出并在近年广泛的应用在深度学习中的各个领域，例如在计算机视觉方向用于捕捉图像上的感受野，或者NLP中用于定位关键token或者特...
2019-07-18 16:58:07
1915
转载 系统学习NLP（三十二）--BERT、XLNet、RoBERTa、ALBERT及知识蒸馏
参考：https://zhuanlan.zhihu.com/p/84559048一.BERTBERT是一种基于Transformer Encoder来构建的一种模型，它整个的架构其实是基于DAE(Denoising Autoencoder)的，这部分在BERT文章里叫作Masked Lanauge Model（MLM)。MLM并不是严格意义上的语言模型，因为整个训练过程并不是利用语言模型方式来训练的。BERT随机把一些单词通过MASK标签来代替，并接着去预测被MASK的这个单词，过程其实就是DAE的
2020-07-01 10:29:40
4050
翻译 系统学习NLP（三十一）--基于CNN句子分类
这篇文章翻译自A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification近年来，卷积神经网络在句子分类任务上取得了显著的成绩(Kim, 2014;Kalchbrenner et al .,2014)，然而，这些模型要求从业者指定...
2020-01-25 22:22:24
9202
转载 系统学习NLP（十三）--词向量（word2vec原理）
词向量简介自然语言是一套用来表达含义的复杂系统。在这套系统中，词是表义的基本单元。在机器学习中，如何使用向量表示词？顾名思义，词向量是用来表示词的向量，通常也被认为是词的特征向量。近年来，词向量已逐渐成为自然语言处理的基础知识。一种最简单的词向量方式是one-hot representation，就是用一个很长的向量来表示一个词，向量的长度为词典的大小，向量的分量只有一个 1，其他全为...
2019-03-10 12:14:43
7336
转载 系统学习NLP（二十九）--BERT
补充一份细节的理解：https://zhuanlan.zhihu.com/p/74090249输入嵌入：https://www.cnblogs.com/d0main/p/10447853.html1. 前言在本文之前我们已经介绍了ELMo和GPT的两个成功的模型，今天给大家介绍google新发布的BERT模型。BERT来头可不小，其性能超越许多使用任务特定架构的系统，刷新了11项NLP...
2019-12-05 22:19:14
2776
转载 系统学习NLP（二十八）--GPT
论文：Improving Language Understandingby Generative Pre-Training1. 前言本文对2018年OpenAi提出的论文《Improving Language Understandingby Generative Pre-Training》做一个解析。一个对文本有效的抽象方法可以减轻NLP对监督学习的依赖。大多数深度学习方法大量的...
2019-12-02 23:50:51
1409
转载 系统学习NLP（二十七）--EMLo
论文：Deep contextualized word representations参考：https://www.cnblogs.com/huangyc/p/9860430.htmlhttps://blog.csdn.net/firesolider/article/details/88092831ELMo的语言理解是通过预测训练单词序列中的下一个单词来实现，这项任务被称为语言建模。这...
2019-12-02 23:14:17
1676
转载 系统学习NLP（二十六）--NBSVM
论文：Baselines and Bigrams: Simple, Good Sentiment and Topic Classification参考：https://blog.csdn.net/leayc/article/details/80037757跟原文有一定差异，理解不一致。朴素贝叶斯(Naive Bayes, NB)和支持向量机(Support Vector Machines...
2019-11-30 17:56:27
1457
转载 系统学习NLP（三十）--词向量对齐
这块，也可以参考facebook的https://www.jiqizhixin.com/articles/under-the-hood-multilingual-embeddings关于词向量对齐的历史方法，可以看这里：https://blog.csdn.net/xacecaSK2/article/details/1020962561. 前言在公司业务需求背景下，我需要解决来源不同语言...
2019-12-06 14:02:37
8673
1
转载 系统学习NLP（二十五）--语种识别landID
一．项目简介1.1 LangID & langidLangid是一个现成的语言识别工具。语言识别（LangID）可用于USENET信息，网络搜索词，多语言文本检索，语法分析等领域。从1990年起，LangID就被视为有监督的机器学习任务，并极大地受到文本分类（text categorization）研究的影响[3]。这里我们研究的是单语言（Monolingual...
2019-11-24 14:43:14
3600
转载 系统学习NLP（二十二）--主题模型LDA
转自：https://blog.csdn.net/kisslotus/article/details/78427585原文更详细，这里删减了不少1. 简介在机器学习领域，LDA是两个常用模型的简称：Linear Discriminant Analysis 和 Latent Dirichlet Allocation。本文的LDA仅指代Latent Dirichlet Allocation. ...
2019-05-20 22:18:08
2756
3
转载 系统学习NLP（二十三）--浅谈Attention机制的理解
转自：https://zhuanlan.zhihu.com/p/35571412Attentin机制的发家史Attention机制最早是应用于图像领域的，九几年就被提出来的思想。随着谷歌大佬的一波研究鼓捣，2014年google mind团队发表的这篇论文《Recurrent Models of Visual Attention》让其开始火了起来，他们在RNN模型上使用了attention...
2019-07-18 16:48:17
2639
转载 系统学习NLP（二十一）--关键词提取算法总结
先说一下自动文摘的方法。自动文摘（Automatic Summarization）的方法主要有两种：Extraction和Abstraction。其中Extraction是抽取式自动文摘方法，通过提取文档中已存在的关键词，句子形成摘要；Abstraction是生成式自动文摘方法，通过建立抽象的语意表示，使用自然语言生成技术，形成摘要。由于生成式自动摘要方法需要复杂的自然语言理解和生成技术支持，应用...
2019-11-18 16:48:03
9041
13
翻译 系统学习NLP（二十）--SWEM
这篇发表在 ACL 2018 上的论文来自于杜克大学 Lawrence Carin 教授的实验室。文章重新审视了 deep learning models（例如 CNN, LSTM）在各类 NLP 任务中的必要性。通过大量的实验探究（17 个数据集），作者发现对于大多数的 NLP 问题，在 word embedding 矩阵上做简单的 pooling 操作就达到了比 CNN encoder 或...
2019-03-19 10:05:25
3896
转载 系统学习NLP（十五）--seq2seq
转自：https://blog.csdn.net/Jerr__y/article/details/537496931. RNN基础对于RNN，我看到讲得最通俗易懂的应该是Andrej发的博客： The Unreasonable Effectiveness of Recurrent Neural Networks这里有它的中文翻译版本： 递归神经网络不可思议的有效性如果想了解 LSTM ...
2019-03-12 20:07:40
658
转载 系统学习NLP（四）--数据平滑
转子：https://blog.csdn.net/fuermolei/article/details/81353746在自然语言处理中，经常要计算单词序列（句子）出现的概率估计。但是，算法训练的时候，预料库中不可能包含所有可能出现的序列，因此为了防止对训练样本中为出现的新序列概率估计值为零，人们发明了不少可以改善估计新序列出现的概率算法，即数据的平滑。最常见的数据平滑算法包括如下几种： ...
2018-10-14 14:59:51
8502
转载 评分卡模型开发（十）--总体流程
转自： https://blog.csdn.net/lll1528238733/article/details/76602006 一、信用风险评级模型的类型信用风险计量体系包括主体评级模型和债项评级两部分。主体评级和债项评级均有一系列评级模型组成，其中主体评级模型...
2018-11-23 12:57:00
11145
转载 评分卡模型开发（九）--上线监测
转自：https://cloud.tencent.com/developer/article/1016299那么我们的评分卡上线后，如何对评分卡的效果进行有效监测，监测哪些指标，监测的指标阈值达到多少我们需要对现有评分卡进行调整更新？这是我们在评分卡上线后需要持续性监测、关注的问题，今天就来跟大家分享一下互金行业评分卡监测的常用手段。1. 模型稳定性包括评分卡得分分布的PSI(Popu...
2018-11-23 10:47:51
7037
1
转载 评分卡模型开发（八）--主标尺设计及模型验证
转自：https://blog.csdn.net/lll1528238733/article/details/76601930上一步中开发的信用风险评分卡模型，得到的是不同风险等级客户对应的分数，我们还需要将分数与违约概率和评级符号联系起来，以便差异化管理证券公司各面临信用风险敞口的客户，这就需要对证券公司各面临信用风险敞口业务中的个人客户开发一个一致的主标尺。最容易理解、最容易操作的方式就是...
2018-11-23 10:45:55
7818
1
转载 评分卡模型开发（七）--基于逻辑回归的标准评分卡实现
由逻辑回归的基本原理，我们将客户违约的概率表示为p，则正常的概率为1-p。因此，可以得到几率，也叫对数比率：此时，客户违约的概率p可表示为：评分卡设定的分值刻度可以通过将分值表示为比率对数的线性表达式来定义，即可表示为下式：其中，A和B是常数。式中的负号可以使得违约概率越低，得分越高。通常情况下，这是分值的理想变动方向，即高分值代表低风险，低分值代表高风险。 逻辑回归模型计...
2018-11-23 10:14:05
8690
转载 评分卡模型开发（六）--WOE值计算
转自：https://cloud.tencent.com/developer/article/1016331对入模的定量和定性指标，分别进行连续变量分段（对定量指标进行分段），以便于计算定量指标的WOE和对离散变量进行必要的降维。对连续变量的分段方法通常分为等距分段和最优分段两种方法。等距分段是指将连续变量分为等距离的若干区间，然后在分别计算每个区间的WOE值。最优分段是指根据变量的分布属性，...
2018-11-23 10:43:57
9827
转载 评分卡模型开发（五）--定性指标筛选
转自：https://cloud.tencent.com/developer/article/1016327定量指标是数值型的，我们还可以用回归的方法来筛选，那么定性的指标怎么办呢？ R里面给我们提供了非常强大的IV值计算算法，通过引用R里面的informationvalue包，来计算各指标的IV值，即可得到各定性指标间的重要性度量，选取其中的high predictive指标即可。 有很多小...
2018-11-23 10:41:49
7078
转载 评分卡模型开发（四）--定量指标筛选
模型开发的前三步主要讲的是数据处理的方法，从第四步开始我们将逐步讲述模型开发的方法。在进行模型开发时，并非我们收集的每个指标都会用作模型开发，而是需要从收集的所有指标中筛选出对违约状态影响最大的指标，作为入模指标来开发模型。接下来，我们将分别介绍定量指标和定性指标的筛选方法。library(InformationValue)library(klaR)data(GermanCredit)...
2018-11-23 10:39:25
8213
转载 评分卡模型开发（三）--数据集准备
转自：https://cloud.tencent.com/developer/article/1016333在缺失值和处理完成后，我们就得到了可用作信用风险评级模型开发的样本总体。通常为了验证评级模型的区分能力和预测准确性，我们需要将样本总体分为样本集和测试集，这种分类方法被称为样本抽样。常用的样本抽样方法包括简单随机抽样、分层抽样和整群抽样三种。 简单随机抽样：smp1<-sam...
2018-11-23 10:35:10
6029
转载 评分卡模型开发（二）--用户数据异常值处理
转自：https://cloud.tencent.com/developer/article/1016342用户数据缺失值处理见上篇： https://cloud.tencent.com/developer/article/1016341缺失值处理完毕后，我们还需要进行异常值处理。异常值是指明显偏离大多数抽样数据的数值，比如个人客户的年龄大于100时，通常认为该值为异常值。找出样本总体中的...
2018-11-23 10:31:30
5999
转载 评分卡模型开发（一）--用户数据缺失值处理
转自：https://cloud.tencent.com/developer/article/1016341在我们搜集样本时，许多样本中一般都含有缺失值，这种情况在现实问题中非常普遍，这会导致一些不能处理缺失值的分析方法无法应用，因此，在信用风险评级模型开发的第一步我们就要进行缺失值处理。缺失值处理的方法，包括如下几种。 （1） 直接删除含有缺失值的样本。 （2） 根据样本之间的相似性填补缺失...
2018-11-23 10:27:41
6696
转载 系统学习机器学习之特征工程（三）--稀疏特征之FM算法
转自：https://www.cnblogs.com/pinard/p/6370127.htmlPinard注：上面最后一句话应该是"而gθ(x)则利用yˆ(x)−θhθ(x)来计算"
2019-05-27 19:52:20
1392
转载 系统学习机器学习之特征工程（四）--分箱总结
首先from wiki给出一个标准的连续特征离散化的定义：在统计和机器学习中，离散化是指将连续属性，特征或变量转换或划分为离散或标称属性/特征/变量/间隔的过程。这在创建概率质量函数时非常有用 - 正式地，在密度估计中。它是一种离散化的形式，也可以是分组，如制作直方图。每当连续数据离散化时，总会存在一定程度的离散化误差。目标是将数量减少到手头的建模目的可忽略不计的水平。在银行风控模型的建模...
2019-11-18 13:27:15
7420
2
转载 常见分类算法优缺点
本文主要回顾下几个常用算法的适应场景及其优缺点！机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开始我们都会选择大家普遍认同的算法，诸如SVM，GBDT，Adaboost，现在深度学习很火热，神经网络也是一个不错的选择。假如你在乎精度（accuracy）的话，最好的方法就是通过交叉验证（...
2018-10-21 21:36:54
11820
转载 常用数据分析方法总结
最近优化一个画像产品，用到一些数据分析方法，这里总结一下。主要参考：https://www.jianshu.com/p/809fb2261b23，补充一些细节一、描述统计描述统计是通过图表或数学方法，对数据资料进行整理、分析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。1.集中趋势分析集中趋势分...
2019-11-02 14:06:43
7019
原创 系统学习机器学习之特征工程（三）--多重共线性
什么是多重共线性？回归中的多重共线性是一个当模型中一些预测变量与其他预测变量相关时发生的条件。严重的多重共线性可能会产生问题，因为它可以增大回归系数的方差，使它们变得不稳定。以下是不稳定系数导致的一些后果：即使预测变量和响应之间存在显著关系，系数也可能看起来并不显著。 高度相关的预测变量的系数在样本之间差异很大。 从模型中去除任何高度相关的项都将大幅影响其他高度相关项的估计系数。高度相...
2019-10-18 09:54:50
6583
转载 决策树（二）--C4.5
C4.5是一系列用在机器学习和数据挖掘的分类问题中的算法。它的目标是监督学习：给定一个数据集，其中的每一个元组都能用一组属性值来描述，每一个元组属于一个互斥的类别中的某一类。C4.5的目标是通过学习，找到一个从属性值到类别的映射关系，并且这个映射能用于对新的类别未知的实体进行分类。 C4.5由J.Ross Quinlan在ID3的基础上提出的。ID3算法用来构造决策树。决策树是一种类似流...
2016-07-21 12:02:40
5989
转载 图神经网络（一）--综述
图是一种数据结构，它对一组对象（节点）及其关系（边）进行建模。近年来，由于图结构的强大表现力，用机器学习方法分析图的研究越来越受到重视。图神经网络（GNN）是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性，GNN 最近已成为一种广泛应用的图分析方法。GNN 的第一个动机源于卷积神经网络（CNN）。CNN 的广泛应用带来了机器学习领域的突破并开启了深度学习的新时代。然而 CNN...
2019-08-27 10:34:33
2101
转载 用户画像
这里不包含算法、技术、架构内容，因为相对来说，用户画像落地比较简单，难的是用户画像的价值落地。用户画像是一个挺新颖的词，最初它是大数据行业言必及之的时髦概念。现在我们谈及用户画像，它也是和精准营销、精细化运营直接钩挂的。这篇文章主要讲产品运营角度的用户画像。什么是用户画像用户画像一点也不神秘，它是根据用户在互联网留下的种种数据，主动或被动地收集，最后加工成一系列的标签。比如猜用户是男是...
2019-08-08 23:21:35
1652
转载 系统学习机器学习之总结（三）--多标签分类问题
补充：（1）、Guide To Multi-Class Multi-Label Classification With Neural Networks In Python（2）、多标签分类（multilabel classification ）1、使用caffe训练一个多标签分类/回归模型2、keras解决多...
2019-08-04 15:17:07
9693
5
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人