- 博客(697)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 图嵌入（一）--综述
转自：https://zhuanlan.zhihu.com/p/62629465最近在学习Embedding相关的知识的时候看到了一篇关于图嵌入的综述，觉得写的不错便把文章中的一部分翻译了出来。因自身水平有限，文中难免存在一些纰漏，欢迎发现的知友在评论区中指正。目录一、图嵌入概述二、图嵌入的挑战三、图嵌入的方法一、图嵌入概述图，如社交网络、单词共存网络和通信网络，广泛地存在于各种现实应用中。通过对它们的分析，我们可以深入了解社会结构、语言和不同的交流模式，因此图一直是学界研究的热
2021-01-25 20:00:30
2631
2
转载 图神经网络（二）--GNNs
转自：https://zhuanlan.zhihu.com/p/75307407目录一、什么是图神经网络二、有哪些图神经网络三、图神经网络的应用一、什么是图神经网络？在过去的几年中，神经网络的兴起与应用成功推动了模式识别和数据挖掘的研究。许多曾经严重依赖于手工提取特征的机器学习任务（如目标检测、机器翻译和语音识别），如今都已被各种端到端的深度学习范式（例如卷积神经网络（CNN）、长短期记忆（LSTM）和自动编码器）彻底改变了。曾有学者将本次人工智能浪潮的兴起归因于三个条件，分别是：
2021-01-25 16:42:20
2642
转载 系统学习NLP（三十二）--BERT、XLNet、RoBERTa、ALBERT及知识蒸馏
参考：https://zhuanlan.zhihu.com/p/84559048一.BERTBERT是一种基于Transformer Encoder来构建的一种模型，它整个的架构其实是基于DAE(Denoising Autoencoder)的，这部分在BERT文章里叫作Masked Lanauge Model（MLM)。MLM并不是严格意义上的语言模型，因为整个训练过程并不是利用语言模型方式来训练的。BERT随机把一些单词通过MASK标签来代替，并接着去预测被MASK的这个单词，过程其实就是DAE的
2020-07-01 10:29:40
3600
翻译 系统学习NLP（三十一）--基于CNN句子分类
这篇文章翻译自A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification近年来，卷积神经网络在句子分类任务上取得了显著的成绩(Kim, 2014;Kalchbrenner et al .,2014)，然而，这些模型要求从业者指定...
2020-01-25 22:22:24
8871
转载 系统学习NLP（三十）--词向量对齐
这块，也可以参考facebook的https://www.jiqizhixin.com/articles/under-the-hood-multilingual-embeddings关于词向量对齐的历史方法，可以看这里：https://blog.csdn.net/xacecaSK2/article/details/1020962561. 前言在公司业务需求背景下，我需要解决来源不同语言...
2019-12-06 14:02:37
7835
1
转载 系统学习NLP（二十九）--BERT
补充一份细节的理解：https://zhuanlan.zhihu.com/p/74090249输入嵌入：https://www.cnblogs.com/d0main/p/10447853.html1. 前言在本文之前我们已经介绍了ELMo和GPT的两个成功的模型，今天给大家介绍google新发布的BERT模型。BERT来头可不小，其性能超越许多使用任务特定架构的系统，刷新了11项NLP...
2019-12-05 22:19:14
2482
转载 系统学习NLP（二十八）--GPT
论文：Improving Language Understandingby Generative Pre-Training1. 前言本文对2018年OpenAi提出的论文《Improving Language Understandingby Generative Pre-Training》做一个解析。一个对文本有效的抽象方法可以减轻NLP对监督学习的依赖。大多数深度学习方法大量的...
2019-12-02 23:50:51
1235
转载 系统学习NLP（二十七）--EMLo
论文：Deep contextualized word representations参考：https://www.cnblogs.com/huangyc/p/9860430.htmlhttps://blog.csdn.net/firesolider/article/details/88092831ELMo的语言理解是通过预测训练单词序列中的下一个单词来实现，这项任务被称为语言建模。这...
2019-12-02 23:14:17
1436
转载 系统学习NLP（二十六）--NBSVM
论文：Baselines and Bigrams: Simple, Good Sentiment and Topic Classification参考：https://blog.csdn.net/leayc/article/details/80037757跟原文有一定差异，理解不一致。朴素贝叶斯(Naive Bayes, NB)和支持向量机(Support Vector Machines...
2019-11-30 17:56:27
1255
转载 系统学习NLP（二十五）--语种识别landID
一．项目简介1.1 LangID & langidLangid是一个现成的语言识别工具。语言识别（LangID）可用于USENET信息，网络搜索词，多语言文本检索，语法分析等领域。从1990年起，LangID就被视为有监督的机器学习任务，并极大地受到文本分类（text categorization）研究的影响[3]。这里我们研究的是单语言（Monolingual...
2019-11-24 14:43:14
3180
转载 系统学习NLP（二十一）--关键词提取算法总结
先说一下自动文摘的方法。自动文摘（Automatic Summarization）的方法主要有两种：Extraction和Abstraction。其中Extraction是抽取式自动文摘方法，通过提取文档中已存在的关键词，句子形成摘要；Abstraction是生成式自动文摘方法，通过建立抽象的语意表示，使用自然语言生成技术，形成摘要。由于生成式自动摘要方法需要复杂的自然语言理解和生成技术支持，应用...
2019-11-18 16:48:03
8143
13
转载 系统学习机器学习之特征工程（四）--分箱总结
首先from wiki给出一个标准的连续特征离散化的定义：在统计和机器学习中，离散化是指将连续属性，特征或变量转换或划分为离散或标称属性/特征/变量/间隔的过程。这在创建概率质量函数时非常有用 - 正式地，在密度估计中。它是一种离散化的形式，也可以是分组，如制作直方图。每当连续数据离散化时，总会存在一定程度的离散化误差。目标是将数量减少到手头的建模目的可忽略不计的水平。在银行风控模型的建模...
2019-11-18 13:27:15
6824
2
转载 常用数据分析方法总结
最近优化一个画像产品，用到一些数据分析方法，这里总结一下。主要参考：https://www.jianshu.com/p/809fb2261b23，补充一些细节一、描述统计描述统计是通过图表或数学方法，对数据资料进行整理、分析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。1.集中趋势分析集中趋势分...
2019-11-02 14:06:43
6608
原创 系统学习机器学习之特征工程（三）--多重共线性
什么是多重共线性？回归中的多重共线性是一个当模型中一些预测变量与其他预测变量相关时发生的条件。严重的多重共线性可能会产生问题，因为它可以增大回归系数的方差，使它们变得不稳定。以下是不稳定系数导致的一些后果：即使预测变量和响应之间存在显著关系，系数也可能看起来并不显著。 高度相关的预测变量的系数在样本之间差异很大。 从模型中去除任何高度相关的项都将大幅影响其他高度相关项的估计系数。高度相...
2019-10-18 09:54:50
6057
转载 图神经网络（一）--综述
图是一种数据结构，它对一组对象（节点）及其关系（边）进行建模。近年来，由于图结构的强大表现力，用机器学习方法分析图的研究越来越受到重视。图神经网络（GNN）是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性，GNN 最近已成为一种广泛应用的图分析方法。GNN 的第一个动机源于卷积神经网络（CNN）。CNN 的广泛应用带来了机器学习领域的突破并开启了深度学习的新时代。然而 CNN...
2019-08-27 10:34:33
1882
转载 用户画像
这里不包含算法、技术、架构内容，因为相对来说，用户画像落地比较简单，难的是用户画像的价值落地。用户画像是一个挺新颖的词，最初它是大数据行业言必及之的时髦概念。现在我们谈及用户画像，它也是和精准营销、精细化运营直接钩挂的。这篇文章主要讲产品运营角度的用户画像。什么是用户画像用户画像一点也不神秘，它是根据用户在互联网留下的种种数据，主动或被动地收集，最后加工成一系列的标签。比如猜用户是男是...
2019-08-08 23:21:35
1381
转载 系统学习机器学习之总结（三）--多标签分类问题
补充：（1）、Guide To Multi-Class Multi-Label Classification With Neural Networks In Python（2）、多标签分类（multilabel classification ）1、使用caffe训练一个多标签分类/回归模型2、keras解决多...
2019-08-04 15:17:07
9223
5
转载 系统学习NLP（二十六）--BERT详解
转自：https://zhuanlan.zhihu.com/p/48612853前言BERT（BidirectionalEncoderRepresentations fromTransformers）近期提出之后，作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了。论文的主要特点以下几点：使用了Transfo...
2019-07-24 10:39:50
3923
转载 系统学习NLP（二十四）--详解Transformer （Attention Is All You Need）
转自：https://zhuanlan.zhihu.com/p/48508221推荐：http://jalammar.github.io/illustrated-transformer/前言注意力（Attention）机制[2]由Bengio团队与2014年提出并在近年广泛的应用在深度学习中的各个领域，例如在计算机视觉方向用于捕捉图像上的感受野，或者NLP中用于定位关键token或者特...
2019-07-18 16:58:07
1595
转载 系统学习NLP（二十三）--浅谈Attention机制的理解
转自：https://zhuanlan.zhihu.com/p/35571412Attentin机制的发家史Attention机制最早是应用于图像领域的，九几年就被提出来的思想。随着谷歌大佬的一波研究鼓捣，2014年google mind团队发表的这篇论文《Recurrent Models of Visual Attention》让其开始火了起来，他们在RNN模型上使用了attention...
2019-07-18 16:48:17
2261
转载 系统学习深度学习（四十三）--GAN简单了解
转自：https://www.leiphone.com/news/201706/ty7H504cn7l6EVLd.html之前GAN网络是近两年深度学习领域的新秀，火的不行，本文旨在浅显理解传统GAN，分享学习心得。现有GAN网络大多数代码实现使用Python、torch等语言，这里，后面用matlab搭建一个简单的GAN网络，便于理解GAN原理。GAN的鼻祖之作是2014年NIPS...
2019-06-26 00:23:02
2066
1
转载 系统学习深度学习（四十二）--从AE到VAE
转自：https://www.atyun.com/17976.htmlAE自编码器是一种无监督学习技术，利用神经网络进行表征学习。也就是说，我们设计一个在网络中施加“瓶颈”，迫使原始输入压缩知识表示的神经网络架构。如果输入特征彼此独立，则该压缩和随后的重构将是非常困难的任务。但是，如果数据中存在某种结构（即输入特征之间存在相关性），则可以学习这种结构，并在强制输入通过网络的瓶颈时使用。...
2019-06-25 15:23:06
4220
转载 系统学习机器学习之弱监督学习（三）--Adversarial Autoencoders
转自：https://blog.csdn.net/hjimce/article/details/54411244
2019-06-25 13:11:02
1300
转载 系统学习机器学习之弱监督学习（一）--弱监督学习综述
摘要：监督学习技术通过学习大量训练样本来构建预测模型，其中每个训练样本都有一个标签标明其真值输出。尽管当前的技术已经取得了巨大的成功，但是值得注意的是，由于数据标注过程的高成本，很多任务很难获得如全部真值标签这样的强监督信息。因此，能够使用弱监督的机器学习技术是可取的。本文综述了弱监督学习的一些研究进展，主要关注三种弱监督类型：不完全监督：只有一部分训练数据具备标签；不确切监督：训练数据只具备粗粒...
2019-06-25 10:18:44
2622
原创 系统学习机器学习之弱监督学习（二）--半监督学习综述
一、半监督学习1-1、什么是半监督学习让学习器不依赖外界交互、自动地利用未标记样本来提升学习性能，就是半监督学习（semi-supervised learning）。要利用未标记样本，必然要做一些将未标记样本所揭示的数据分布信息与类别标记相联系的假设。假设的本质是“相似的样本拥有相似的输出”。目前，在半监督学习中有三个常用的基本假设来建立预测样例和学习目标之间的关系，有以下三个：...
2019-06-22 12:28:26
8403
转载 系统学习深度学习（四十一）--AlphaGo Zero强化学习原理
转自：https://www.cnblogs.com/pinard/p/10609228.html本篇主要参考了AlphaGo Zero的论文,AlphaGo Zero综述和AlphaGo Zero Cheat Sheet。1.AlphaGo Zero模型基础 AlphaGo Zero不需要学习人类的棋谱，通过自我对弈完成棋力提高。主要使用了两个模型，第一个就是我们上一节介绍...
2019-06-16 21:00:21
2139
1
转载 系统学习深度学习（四十）--基于模拟的搜索与蒙特卡罗树搜索(MCTS)
转自：https://www.cnblogs.com/pinard/p/10470571.html1.基于模拟的搜索概述 什么是基于模拟的搜索呢？当然主要是两个点：一个是模拟，一个是搜索。模拟我们在上一篇也讨论过，就是基于强化学习模型进行采样，得到样本数据。但是这是数据不是基于和环境交互获得的真实数据，所以是“模拟”。对于搜索，则是为了利用模拟的样本结果来帮我们计算到底应该采用什么...
2019-06-16 20:58:22
2131
转载 系统学习深度学习（三十九）--基于模型的强化学习与Dyna算法框架
转自：https://www.cnblogs.com/pinard/p/10384424.html在前面我们讨论了基于价值的强化学习(Value Based RL)和基于策略的强化学习模型(Policy Based RL)，本篇我们讨论最后一种强化学习流派，基于模型的强化学习(Model Based RL)，以及基于模型的强化学习算法框架Dyna。1.基于模型的强化学习简介 ...
2019-06-16 20:11:15
2836
4
转载 系统学习深度学习（三十八）--深度确定性策略梯度(DDPG)
转自：https://www.cnblogs.com/pinard/p/10345762.html1. 从随机策略到确定性策略 从DDPG这个名字看，它是由D（Deep）+D（Deterministic）+ PG(Policy Gradient)组成。PG(Policy Gradient)我们在系统学习深度学习（三十五）--策略梯度(Policy Gradient)里已经讨论过。那...
2019-06-16 19:34:33
5179
转载 系统学习深度学习（三十七）--A3C
转自：https://www.cnblogs.com/pinard/p/10334127.html1. A3C的引入 上一篇Actor-Critic算法的代码，其实很难收敛，无论怎么调参，最后的CartPole都很难稳定在200分，这是Actor-Critic算法的问题。但是我们还是有办法去有优化这个难以收敛的问题的。 回忆下之前的DQN算法，为了方便收敛使用了经验回放的技...
2019-06-16 19:31:29
2080
转载 系统学习深度学习（三十六）--Actor-Critic
转自：https://www.cnblogs.com/pinard/p/10272023.html1.Actor-Critic算法简介 Actor-Critic从名字上看包括两部分，演员(Actor)和评价者(Critic)。其中Actor使用我们上一节讲到的策略函数，负责生成动作(Action)并和环境交互。而Critic使用我们之前讲到了的价值函数，负责评估Actor的表现，并...
2019-06-16 18:23:55
3139
转载 系统学习深度学习（三十五）--策略梯度(Policy Gradient)
转自：https://www.cnblogs.com/pinard/p/10137696.html在前面讲到的DQN系列强化学习算法中，我们主要对价值函数进行了近似表示，基于价值来学习。这种Value Based强化学习方法在很多领域都得到比较好的应用，但是Value Based强化学习方法也有很多局限性，因此在另一些场景下我们需要其他的方法，比如本篇讨论的策略梯度(Policy Gradie...
2019-06-16 18:07:12
3537
转载 系统学习深度学习（三十四）--Dueling DQN
转自：https://www.cnblogs.com/pinard/p/9923859.html1.Dueling DQN的优化点考虑 在前面讲到的DDQN中，我们通过优化目标Q值的计算来优化算法，在Prioritized Replay DQN中，我们通过优化经验回放池按权重采样来优化算法。而在Dueling DQN中，我们尝试通过优化神经网络的结构来优化算法。 具体如何...
2019-06-16 17:59:12
2278
转载 系统学习深度学习（三十三）--Prioritized Replay DQN
转自：https://www.cnblogs.com/pinard/p/9797695.html1.Prioritized Replay DQN之前算法的问题 在Prioritized Replay DQN之前，我们已经讨论了很多种DQN，比如Nature DQN， DDQN等，他们都是通过经验回放来采样，进而做目标Q值的计算的。在采样的时候，我们是一视同仁，在经验回放池里面的所有...
2019-06-16 13:57:46
2566
转载 系统学习深度学习（三十二）--Double DQN (DDQN)
转自：https://www.cnblogs.com/pinard/p/9778063.html1. DQN的目标Q值计算问题 在DDQN之前，基本上所有的目标Q值都是通过贪婪法直接得到的，无论是Q-Learning， DQN(NIPS 2013)还是 Nature DQN，都是如此。比如对于Nature DQN,虽然用了两个Q网络并使用目标Q网络计算Q值，其第j个样本的目标Q值的计...
2019-06-16 13:44:56
4373
转载 系统学习深度学习（三十一）--Nature DQN(NIPS 2015)
转自：https://www.cnblogs.com/pinard/p/9756075.html1. DQN(NIPS 2013)的问题 在上一篇我们已经讨论了DQN(NIPS 2013)的算法原理和代码实现，虽然它可以训练像CartPole这样的简单游戏，但是有很多问题。这里我们先讨论第一个问题。 注意到DQN(NIPS 2013)里面，我们使用的目标Q值的计算方式：...
2019-06-16 13:37:46
3235
转载 系统学习深度学习（三十）--Deep Q-Learning
转自：https://www.cnblogs.com/pinard/p/9714655.html1. 为何需要价值函数的近似表示 在之前讲到了强化学习求解方法，无论是动态规划DP，蒙特卡罗方法MC，还是时序差分TD，使用的状态都是离散的有限个状态集合S。此时问题的规模比较小，比较容易求解。但是假如我们遇到复杂的状态集合呢？甚至很多时候，状态是连续的，那么就算离散化后，集合也很大，此时...
2019-06-15 22:59:20
2779
2
转载 系统学习机器学习之增强学习（六）--马尔可夫决策过程策略TD求解（Q-learning）
转自：https://www.cnblogs.com/pinard/p/9669263.html1. Q-Learning算法的引入 Q-Learning算法是一种使用时序差分求解强化学习控制问题的方法，回顾下此时我们的控制问题可以表示为：给定强化学习的5个要素：状态集S, 动作集A, 即时奖励R，衰减因子γ, 探索率ϵ, 求解最优的动作价值函数q∗和最优策略π∗。 ...
2019-06-15 22:48:55
3231
转载 系统学习机器学习之增强学习（五）--马尔可夫决策过程策略TD求解（SARSA）
转自：https://www.cnblogs.com/pinard/p/9529828.html1.时间差分法(temporal difference)蒙特卡洛方法，需要所有的采样序列都是经历完整的状态序列。如果我们没有完整的状态序列，那么就无法使用蒙特卡罗法求解了。本文我们就来讨论可以不使用完整状态序列求解强化学习问题的方法：时序差分(Temporal-Difference, TD)。...
2019-06-15 14:03:28
1973
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人