![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 57
eunicechen
机器学习、深度学习、图像处理
展开
-
正则相关
最近处理文本,使用正则表达式去除文本中的各种标点符号,但是保留英文间的空格,包括转义符号在hive -e和python中的区别实验,总结如下两点,以求备份:Hive -e 中使用正则:hive -e "select regexp_replace( regexp_replace( regexp_repl...原创 2019-10-12 13:44:02 · 178 阅读 · 0 评论 -
单层lstm的伪孪生网络 计算 句子的相似度
基础版本实验:选用final hidden states, [h1, h2, |h1-h2|, h1.*h2], 以1:2构造正负例, 参考dssm(原文是1:4)single lstm 孪生网络 数据是4w的pair对训练曲线如下图: 最终任务测试集上的准确率(和本任务中dssm的准确率做对比), 如下图所示:本任务lstm singe (正:负 = 1:2) ...原创 2018-08-01 18:04:38 · 3600 阅读 · 1 评论 -
Bert pre-train 代码
目录Pre-train主体代码结构Initial ConfigBuild modelMasked LM预测Next Sentence 预测Bert主体Input_fnInitial EstimatorTrainPre-train主体代码结构def main(_): tf.logging.set_verbosity(tf.logging.INFO...原创 2018-12-05 15:46:20 · 1816 阅读 · 0 评论 -
BERT混合精度
Nvidia提的混合精度方案的pr,在cuda9.0上几乎没有加速效果,在cuda9.2及以上版本才有加速效果。仔细阅读源码后 发现,pr中的混合精度的修改只涉及到输入输出部分,transformer_model整体部分并没有做混合精度的改写,所以光从源码程度的混合精度,并不会明显的速度提升。问题来了:为什么cuda9.2及以上版本能有明显的速度提升?Answer: cuda9.2及以...原创 2019-01-10 17:35:00 · 1203 阅读 · 0 评论 -
zz: illustrator-BERT
留存,解释的很棒的文章http://jalammar.github.io/illustrated-bert/转载 2019-01-24 21:19:25 · 232 阅读 · 0 评论