工作笔记

转自：https://zhuanlan.zhihu.com/p/62629465最近在学习Embedding相关的知识的时候看到了一篇关于图嵌入的综述，觉得写的不错便把文章中的一部分翻译了出来。因自身水平有限，文中难免存在一些纰漏，欢迎发现的知友在评论区中指正。目录一、图嵌入概述二、图嵌入的挑战三、图嵌入的方法一、图嵌入概述图，如社交网络、单词共存网络和通信网络，广泛地存在于各种现实应用中。通过对它们的分析，我们可以深入了解社会结构、语言和不同的交流模式，因此图一直是学界研究的热

转自：https://zhuanlan.zhihu.com/p/75307407目录一、什么是图神经网络二、有哪些图神经网络三、图神经网络的应用一、什么是图神经网络？在过去的几年中，神经网络的兴起与应用成功推动了模式识别和数据挖掘的研究。许多曾经严重依赖于手工提取特征的机器学习任务（如目标检测、机器翻译和语音识别），如今都已被各种端到端的深度学习范式（例如卷积神经网络（CNN）、长短期记忆（LSTM）和自动编码器）彻底改变了。曾有学者将本次人工智能浪潮的兴起归因于三个条件，分别是：

参考：https://zhuanlan.zhihu.com/p/84559048一.BERTBERT是一种基于Transformer Encoder来构建的一种模型，它整个的架构其实是基于DAE(Denoising Autoencoder)的，这部分在BERT文章里叫作Masked Lanauge Model（MLM)。MLM并不是严格意义上的语言模型，因为整个训练过程并不是利用语言模型方式来训练的。BERT随机把一些单词通过MASK标签来代替，并接着去预测被MASK的这个单词，过程其实就是DAE的

这篇文章翻译自A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification近年来，卷积神经网络在句子分类任务上取得了显著的成绩(Kim, 2014;Kalchbrenner et al .,2014)，然而，这些模型要求从业者指定...

这块，也可以参考facebook的https://www.jiqizhixin.com/articles/under-the-hood-multilingual-embeddings关于词向量对齐的历史方法，可以看这里：https://blog.csdn.net/xacecaSK2/article/details/1020962561. 前言在公司业务需求背景下，我需要解决来源不同语言...

补充一份细节的理解：https://zhuanlan.zhihu.com/p/74090249输入嵌入：https://www.cnblogs.com/d0main/p/10447853.html1. 前言在本文之前我们已经介绍了ELMo和GPT的两个成功的模型，今天给大家介绍google新发布的BERT模型。BERT来头可不小，其性能超越许多使用任务特定架构的系统，刷新了11项NLP...

论文：Improving Language Understandingby Generative Pre-Training1. 前言本文对2018年OpenAi提出的论文《Improving Language Understandingby Generative Pre-Training》做一个解析。一个对文本有效的抽象方法可以减轻NLP对监督学习的依赖。大多数深度学习方法大量的...

论文：Deep contextualized word representations参考：https://www.cnblogs.com/huangyc/p/9860430.htmlhttps://blog.csdn.net/firesolider/article/details/88092831ELMo的语言理解是通过预测训练单词序列中的下一个单词来实现，这项任务被称为语言建模。这...

论文：Baselines and Bigrams: Simple, Good Sentiment and Topic Classification参考：https://blog.csdn.net/leayc/article/details/80037757跟原文有一定差异，理解不一致。朴素贝叶斯(Naive Bayes, NB)和支持向量机(Support Vector Machines...

一．项目简介1.1  LangID & langidLangid是一个现成的语言识别工具。语言识别（LangID）可用于USENET信息，网络搜索词，多语言文本检索，语法分析等领域。从1990年起，LangID就被视为有监督的机器学习任务，并极大地受到文本分类（text categorization）研究的影响[3]。这里我们研究的是单语言（Monolingual...

首先from wiki给出一个标准的连续特征离散化的定义：在统计和机器学习中，离散化是指将连续属性，特征或变量转换或划分为离散或标称属性/特征/变量/间隔的过程。这在创建概率质量函数时非常有用 - 正式地，在密度估计中。它是一种离散化的形式，也可以是分组，如制作直方图。每当连续数据离散化时，总会存在一定程度的离散化误差。目标是将数量减少到手头的建模目的可忽略不计的水平。在银行风控模型的建模...

最近优化一个画像产品，用到一些数据分析方法，这里总结一下。主要参考：https://www.jianshu.com/p/809fb2261b23，补充一些细节一、描述统计描述统计是通过图表或数学方法，对数据资料进行整理、分析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。1.集中趋势分析集中趋势分...

我要图标～，文章以后补～

什么是多重共线性？回归中的多重共线性是一个当模型中一些预测变量与其他预测变量相关时发生的条件。严重的多重共线性可能会产生问题，因为它可以增大回归系数的方差，使它们变得不稳定。以下是不稳定系数导致的一些后果：即使预测变量和响应之间存在显著关系，系数也可能看起来并不显著。 高度相关的预测变量的系数在样本之间差异很大。 从模型中去除任何高度相关的项都将大幅影响其他高度相关项的估计系数。高度相...

图是一种数据结构，它对一组对象（节点）及其关系（边）进行建模。近年来，由于图结构的强大表现力，用机器学习方法分析图的研究越来越受到重视。图神经网络（GNN）是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性，GNN 最近已成为一种广泛应用的图分析方法。GNN 的第一个动机源于卷积神经网络（CNN）。CNN 的广泛应用带来了机器学习领域的突破并开启了深度学习的新时代。然而 CNN...

这里不包含算法、技术、架构内容，因为相对来说，用户画像落地比较简单，难的是用户画像的价值落地。用户画像是一个挺新颖的词，最初它是大数据行业言必及之的时髦概念。现在我们谈及用户画像，它也是和精准营销、精细化运营直接钩挂的。这篇文章主要讲产品运营角度的用户画像。什么是用户画像用户画像一点也不神秘，它是根据用户在互联网留下的种种数据，主动或被动地收集，最后加工成一系列的标签。比如猜用户是男是...

补充：（1）、Guide To Multi-Class Multi-Label Classification With Neural Networks In Python（2）、多标签分类（multilabel classification ）1、使用caffe训练一个多标签分类/回归模型2、keras解决多...

转自：https://zhuanlan.zhihu.com/p/48612853前言BERT（BidirectionalEncoderRepresentations fromTransformers）近期提出之后，作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了。论文的主要特点以下几点：使用了Transfo...

转自：https://zhuanlan.zhihu.com/p/48508221推荐：http://jalammar.github.io/illustrated-transformer/前言注意力（Attention）机制[2]由Bengio团队与2014年提出并在近年广泛的应用在深度学习中的各个领域，例如在计算机视觉方向用于捕捉图像上的感受野，或者NLP中用于定位关键token或者特...

转自：https://zhuanlan.zhihu.com/p/35571412Attentin机制的发家史Attention机制最早是应用于图像领域的，九几年就被提出来的思想。随着谷歌大佬的一波研究鼓捣，2014年google mind团队发表的这篇论文《Recurrent Models of Visual Attention》让其开始火了起来，他们在RNN模型上使用了attention...