chaojianmo的博客

Attention-Based Recurrent Neural Network Models for Joint Intent Detection基于attention的encoder-decoder神经网络模型在机器翻译领域取得成功，本文将该模型用于意图识别和槽位填充的联合学习。由于槽位填充任务不像机器翻译任务，槽位填充中输入文本和输出标签的对齐是明确的，文中探索了不同的方法，将对齐信息融入到模型中。另外，在基于attention的encoder-decoder的模型的基础上，进一步提出一种结合了注意

论文：Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification关系分类中的的一个挑战是决定分类的重要信息再句子中的位置是不确定的，本文提出基于注意力机制的bi-lstm模型，能捕获句子中最重要的语义层面的信息。模型主要由五个部分组成：（1）输入层：输入句子（2）Embedding层：将词映射到低维稠密向量（3）LSTM层：获取高阶特征（4）Atte..

五八同城智能客服系统“帮帮”技术揭秘58智能客服QABot问答机器人算法实践帮帮智能问答机器人中TaskBot任务对话算法实践

YOLO3主要的改进有：调整了网络结构；利用多尺度特征进行对象检测；对象分类用Logistic取代了softmax。新的网络结构Darknet-53在基本的图像特征提取方面，YOLO3采用了称之为Darknet-53的网络结构（含有53个卷积层），它借鉴了残差网络residual network的做法，在一些层之间设置了快捷链路（shortcut connections）。利...

论文地址：YOLO9000: Better, Faster, Stronger预测更准确（Better）1） Batch Normalization CNN在训练过程中网络每层输入的分布一直在改变, 会使训练过程难度加大，但可以通过normalize每层的输入解决这个问题。YOLO v2在每一个卷积层后添加batch normalization，通过这一方法，mAP获得了2%的提升。batch normalization 也有助于规范化模型，可以在舍弃dropout优化后依然不...

论文原文：https://arxiv.org/pdf/1506.02640.pdf1 网络结构1）结构YOLO的结构非常简单，就是单纯的卷积、池化最后加了两层全连接。单看网络结构的话，和普通的CNN对象分类网络几乎没有本质的区别，最大的差异是最后输出层用线性函数做激活函数，因为需要预测bounding box的位置（数值型），而不仅仅是对象的概率。2）输入和输出的映射关系...

ReLU修正线性单元（Rectified linear unit，ReLU）是神经网络中最常用的激活函数。ReLu激活函数的优点是：1，相比Sigmoid/tanh函数，使用梯度下降（GD）法时，收敛速度更快2，相比Sigmoid/tanh函数，Relu只需要一个门限值，即可以得到激活值，计算速度更快缺点是：Relu的输入值为负的时候，输出始终为0，其一阶导数也始终为0，这样...

Batch Normalization 是Google于2015年提出的一种归一化方法。BN带来以下优点：加速训练过程； 可以使用较大的学习率； 允许在深层网络中使用sigmoid这种易导致梯度消失的激活函数； 具有轻微地正则化效果，以此可以降低dropout的使用。ICS(Internal Covariate Shift)我们知道在网络训练过程中，随着上一层参数的改变，下一层...

模型训练是围绕解决模型的欠拟合问题展开的，通过最小化损失函数来减小模型预测值与真实值之间的误差。因为数据集中总会有一些噪声，模型在拟合数据时可能会把噪声也拟合进来，导致模型过拟合。正则化是对损失函数的一种惩罚，即对损失函数中的某些参数进行限制。一般认为，参数值较小的模型比较简单，能更好地适应不同的数据集，泛化能力更强。正则化中最常用的正则项是L1范数和L2范数。L1范数是权重向量中各元素的...

pyfasttest依赖Cythonandcysignals.1 安装Cpython采用非编译方式安装 pip install Cython --install-option="--no-cython-compile"2 安装cysignals直接pip install cysignals 报以下错误。首先，clone cysignals的源码到本地。gi...

1 TF-IDFTF-IDF是英文Term Frequency–Inverse Document Frequency的缩写，中文叫做词频-逆文档频率。一个用户问题与一个标准问题的TF-IDF相似度，是将用户问题中每一词与标准问题计算得到的TF-IDF值求和。计算公式如下：TF-IDF算法，计算较快，但是存在着缺点，由于它只考虑词频的因素，没有体现出词汇在文中上下文的地位，因...

EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计。EM算法的每次迭代由两步字组成：E步，求期望；M步，求极大。所以EM算法也称为期望极大算法（expectation maximization algorithm）。如果概率模型的变量都是观测变量，那么给定数据，可以直接使用极大似然估计法或者贝叶斯估计法估计模型参数。但是，当模型含有隐变量时，就不能简单地用这些估计方法，只能...

目录1 Boosting2 Bagging和随机森林2.1 Bagging2.2 随机森林3 结合策略3.1 平均法3.2 投票法3.3 学习法- Stacking集成学习（ensemble learning）通过构建并结合多个学习器来完成学习任务。 ...

1 提升方法Adaboost算法1.1提升方法的基本思路对分类问题而言，给定一个训练样本集，求比较粗糙的分类规则（弱分类器）要比求精确的分类规则（强分类器）容易得多。提升发方法就是从弱学习算法出发，反复学习，得到一系列的弱分类器，然后组合这些弱分类器，构成一个强分类器。对于提升方法来说，有两个问题需要解决：1.在每一轮如何改变训练数据的权值或概率分布？AdaBoost的做法是...

BP（Back Propagation）神经网络通常是指具有三层网路结构的浅层神经网络。反向传播算法这个网络只有3层，分别是蓝色的输入层、绿色的隐藏层和红色的输出层。假设给了m个训练样本，第i个输入输出对表示为：其中，x和y是3维向量。对于输入x，我们把g称作神经网络的预测（输出）值。对于每个训练样本来说，有：给定输入x，我们要找到使得预测值g与输出值y相等或比较...

决策树优点：模型具有可读性、分类速度快。决策树的学习包括3个步骤：特征选择、决策树的生成、决策树剪枝。1 决策树模型与学习决策树的学习本质上是从训练数据集中归纳出一组分类规则。损失函数通常是正则化的极大似然函数。决策树学习 的算法通常是一个递归地选择最有特征，并根据该特征对训练数据集进行分割，使得对各个子数据集有一个最好的分类过程。这一过程对应着特征空间的划分，也对应着决策树的构建...

论文地址：https://openreview.net/pdf?id=H1eA7AEtvS中文预训练ALBERT模型：https://github.com/brightmart/albert_zh1、对Embedding因式分解（Factorized embedding parameterization）在BERT中，词embedding与encoder输出的embedding维...

Adam优化器计算t时间步的梯度：首先，计算梯度的指数移动平均数， 初始化为0。系数为指数衰减率，控制权重分配（动量与当前梯度），通常取接近于1的值。默认为0.9其次，计算梯度平方的指数移动平均数，初始化为0。 系数为指数衰减率，控制之前的梯度平方的影响情况。默认为0.999第三，由于初始化为0，会导致偏向于0，尤其在训练初期阶...

1 特征工程是什么？有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳，人们认为特征工程包括以下方面：特征处理是特征工程的核心部分，sklearn提供了较为完整的特征处理方法，包括数据预处理，特征选择，降维等。首次接触...

本部分介绍BERT预训练过程，BERT针对两个任务同时训练。1.下一句预测。2.遮蔽词识别Bert预训练由两个脚本，create_pretraining_data.py和run_pretraining.py，前者为对数据进行预处理，保存数据成tfrecord格式的文件。后者构建bert网络并进行训练。1 数据预处理python create_pretraining_data.py \...