s1434088958的博客

原创 wide&deep在贝克推荐场景的实践

由壳算子文章《wide&deep 在贝壳推荐场景的实践》整理而成源作者翟丁丁 郭立星

原创 RALM：实时Look-alike算法

由腾讯刘雨丹老师分享的《RALM：实时Look-alike算法在微信看一看中的应用》整理而成

原创 金融知识图谱

根据星环科技张秋剑老师分享的《金融知识图谱的应用与探索》整理而成

原创 互联网金融反欺诈体系

原创 58招聘个性化推荐

来自58技术沙龙曾钦榜老师的《如何从0到1构建58找平个性化推荐》总结而成

原创 转转知识图谱

本图根据转转张青楠老师，分享的《二手电商知识图谱构建以及在价格模型中的应用》整理而成。

原创 BERT

BERTTransformerseq2seq with ‘self-attention’Self-attentionMulti-head Self-attention####Positional Enconding加入 e 连接任意位置信息Traning of BERTMasked LMNext Sentence PredictionHow to use BERT...

原创 Elmo

ELMO应用环境配置Python版本为3.6tensorflow版本为1.13目录说明emlo_qacnn文件夹包含的是完成整个问答demo流程所需要的脚本。data_helper_emlo.py数据处理部分model_utils.py模型用到的一些工具等model_elmo_online.py基于tensorflow_hub生成ELMO词向量，需要保证网络情况良好mode...

原创 Elmo

Elmo1 Elmo简介ELMo是一种新型深度语境化词表征，可对词进行复杂特征(如句法和语义)和词在语言语境中的变化进行建模(即对多义词进行建模)。词向量是深度双向语言模型(biLM)内部状态的函数，在一个大型文本语料库中预训练而成。2 Elmo原理模型架构图如下：2.1 LSTMElmo的基本由LSTM构成 首先理解下何为LSTMLSTM网络引入一个新的内部状态（internal...

原创 Transformer

基于自注意力的序列到序列模型除长期依赖问题外，基于循环神经网络的序列到序列模型的另一个不足是无法并行计算。为了提高并行计算效率以及捕捉长距离的依赖关系，可以使用自注意模型来建立一个全连接的网络结构。本文简单介绍一个典型的基于自注意力的序列到序列模型：Transformer[Vaswaniet al., 2017]。1.1 自注意力对于一个向量序列H=[h1,⋅⋅⋅,hT]∈Rdh×...

原创 Attention

Attention1.1认知神经学中的注意力注意力一般分为两种：一种是自上而下的有意识的注意力，称为聚焦式（Focus）注意力。聚焦式注意力是指有预定目的、依赖任务的、主动有意识地聚焦于某一对象的注意力。另一种是自下而上的无意识的注意力，称为基于显著性（Saliency-Based）的注意力。基于显著性的注意力是由外界刺激驱动的注意，不需要主动干预，也和任务无关。一个和注意力有关的例...

原创 RNN

RNN1.1传统网络的局限性在前馈神经网络中，信息的传递是单向的，这种限制虽然使得网络变得更容易学习，但在一定程度上也减弱了神经网络模型的能力。在生物神经网络中，神经元之间的连接关系要复杂的多。前馈神经网络可以看着是一个复杂的函数，每次输入都是独立的，即网络的输出只依赖于当前的输入。但是在很多现实任务中，网络的输入不仅和当前时刻的输入相关，也和其过去一段时间的输出相关。比如一个有限状态自...

原创 SVM

SVM支持向量机（Support Vector Machine，SVM）是一个经典两类分类算法，其找到的分割超平面具有更好的鲁棒性，因此广泛使用在很多任务上，并表现出了很强优势。给定一个两类分类器数据集D=(x(n),y(n))nN=1D = {(x^{(n)}, y^{(n)})}^N_n=1D=(x(n),y(n))nN​=1其中 yn∈{+1,−1}y_n \in\{+1,-1\...

原创 Task7 CNN

CNN1.1 一维卷积一维卷积经常用在信号处理中，用于计算信号的延迟累积。假设一个信号发生器每个时刻t产生一个信号xt，其信息的衰减率为wk，即在k − 1个时间步长后，信息为原来的wk 倍。假设w1 = 1, w2 = 1/2, w3 = 1/4，那么在时刻t收到的信号yt 为当前时刻产生的信息和以前时刻延迟信息的叠加，yt=1×xt+1/2×xt−1+1/4×xt−2=w1×xt+...

原创 Tensorflow下配置CPU+GPU

博主最近刚入坑Tensorflow，配置环境时走了很多坑找了很多文章，都认为CPU和GPU不能共存切换到Tensorflow-gpu下  conda list 发现存在 tensorflow所以调用时会先使用 CPU因此需要uninstall tensorflow 对应命令为 pip uninstall tensorflow卸载后即可优先使用GPU...