luoyexuge的专栏

排序：
默认
按更新时间
按访问量
RSS订阅

原 bert模型字向量获取---web服务

周末花时间写了个bert子向量获取的web服务，这东西以后完全是要替换word2vec模型，再过些估计会像word2vec那样，每个人都可以玩，下面看看怎么使用把，不难：   中文bert模型下载：https://storage.googleapis.com/bert_models/2018_...

2018-12-10 14:43:42

阅读数 3903

评论数 11

转 专题-句向量（Sentence Embedding）

原始地址：https://github.com/imhuay/Algorithm_Interview_Notes-Chinese/blob/master/B-%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86/B-%E4%B8%93%E9%...

2018-11-08 11:00:29

阅读数 2718

评论数 0

原 利用spark生成tfrecord文件

目前数据越来越多，数据一般存储在hdfs上，但是目前许多深度学习算法是基于TensorFlow、pytorch等框架实现，使用单机python、java做数据转换都比较慢，怎么大规模把hdfs数据直接喂到TensorFlow中，在这里TensorFlow提供了一种解决方案，利用spark生成tfr...

2019-04-24 10:49:28

阅读数 231

评论数 0

原 bert语义相似度计算

bert语义相似性计算，这个和上一块的文本分类模型有点类似，但是segment_ids稍微和文本分类不一样，数据集可以参照蚂蚁金服语义相似度计算的文本（可以搜索蚂蚁金服语义相似比赛数据可以多出下载到），两个句子之间通过[SEP]分割，[CLS]的向量作为分类的输入，标签是两个句子是否相似。可以作为...

2019-01-11 16:18:11

阅读数 2309

评论数 0

原 bert模型文本分类

bert模型文本分类，实际这个东西google官方已经提供了代码，做文本分类实际是一个最简单的问题，下面用官方代码改了下，可以在低版本的tensorflow上运行，至于数据格式不再做多谈，就是input、inputmask、label，其中segment_ids可以不用做文本分类，看下代码： ...

2019-01-11 16:12:57

阅读数 2139

评论数 4

原 tf.decode_csv() error: “Unquoted fields cannot have quotes/CRLFs inside”

今天利用模型预测表中的数据写到另外一个表中爆这个错误，找了一些资料没找到原因，后来查看函数的本身用法，有个参数是use_quote_delim 参数，看原始代码的解释为： se_quote_delim: An optional `bool`. Defaults to `True`.     ...

2018-12-26 15:32:40

阅读数 376

评论数 2

转 从0到1开始训练一个bert语言模型

原始地址：https://daiwk.github.io/posts/nlp-bert-code.html   目录 pretrained model Sentence (and sentence-pair) classification tasks glue data数据集 运行 ...

2018-12-14 13:13:02

阅读数 5400

评论数 0

原 BERT+BiLSTM-CRF-NER用于做ner识别

本周五快下班的时候看到别人写了个bert语言模型作为输入，用于做ner识别，后面可以是cnn或者直接是crf层，bert在这里作为word2vec模型的替换着，原始地址https://github.com/macanv/BERT-BiLSTM-CRF-NER，在这里需要注意的是TensorFlow...

2018-12-02 22:10:47

阅读数 11267

评论数 0

原 topk相似度性能比较（kd-tree、kd-ball、faiss、annoy、线性搜索）

目前对向量topk相似度计算算法有许多，如下图： 关于向量取topk相似度的应用场景很多，比如推荐系统里面使用item2vec经常离线计算好topk的相似度，搜索领域里面的query2vec使用topk相似度，word2vec领域里面的topk相似度，本文选取了几个经典的算法做性能比较，kd...

2018-11-19 11:18:54

阅读数 2303

评论数 0

转 NLP中语言模型预训练方法

最近，在自然语言处理（NLP）领域中，使用语言模型预训练方法在多项NLP任务上都获得了不错的提升，广泛受到了各界的关注。就此，我将最近看的一些相关论文进行总结，选取了几个代表性模型（包括ELMo [1]，OpenAI GPT [2]和BERT [3]）和大家一起学习分享。 1. 引言 在介绍论...

2018-11-09 13:55:50

阅读数 1263

评论数 0

转 短文本分类的 ResLCNN 模型

发现一个有意思的模型，也是利用何凯明残差网络的思想，具体网络结构可以看下：   作者看了下各种实验结果：   原始地址： https://blog.csdn.net/gentelyang/article/details/80840585?utm_source=blogxgwz9....

2018-11-07 10:00:06

阅读数 864

评论数 0

转 大规模中文概念图谱CN-Probase正式发布

历时多年的研发，复旦大学知识工场实验室正式推出大规模中文概念图谱——CN-Probase，用于帮助机器更好的理解人类语言。概念图谱中包含实体（比如“刘德华”）、概念（比如“演员”），实体与概念之间的类属关系（又称isA关系，比如 “刘德华 isA 演员”），概念与概念之间的 subclass of...

2018-11-05 19:32:54

阅读数 51

评论数 0

转 谷歌最强 NLP 模型 BERT 解读

从elmo-->ULMFiT-->gpt-->bert，大概是这个流程   最近谷歌研究人员通过新的BERT模型在11项NLP任务中夺得STOA结果，这在自然语言处理学界以及工业界都引起了不小的热议。作者通过在33亿文本的语料上...

2018-10-28 21:14:15

阅读数 1931

评论数 0

转 elmo相关资料情况

https://blog.csdn.net/jeryjeryjery/article/details/81183433?utm_source=blogxgwz5 https://blog.csdn.net/sinat_26917383/article/details/81913790 http...

2018-10-24 11:49:36

阅读数 175

评论数 0

转 机器翻译模型Transformer代码详细解析

看到这个博客代码讲的真的是通俗易懂，原理也比较简单了，花时间去看的话，原文地址：http://lib.csdn.net/article/aiframework/68187 谷歌一个月前发了一篇论文Attention is all you need,文中提出了一种新的架构叫做Transformer...

2018-10-24 10:03:08

阅读数 637

评论数 1

原 c++生成tfrecord文件

步骤和上一篇博客java生成tfrecord文件类似，首先是在tensorflow官网下载protoc后缀文件，利用protoc生成c++代码，把生成feature、example源文件和头文件放到c++项目中,下面看步骤： protoc --cpp_out=cpp/ feature....

2018-10-14 20:37:11

阅读数 330

评论数 1

原 java生成tfrecord文件

最近在做一个ner识别模型，用算法标注了一亿出头的数据，刚刚开始用python生成tfrecord文件，这一步非常的费时间，一亿条数据每一千万生成一个文件差不多要两个半小时的时间才能生成完成，左思右想想找一种快的方法，前几天看到美团公众号发了一篇文章关于ctr模型，其中有一句话印象深刻用spark...

2018-10-13 00:06:31

阅读数 581

评论数 2

原 c++使用opencv读取图像进tensorflow做预测

接上一篇文章，上一篇文章简单了训练一个101层的残差网络并保持为pb格式，下面在c++中读取图片进行预测，用Mat转化为tensor的形式，opencv接口安装、tensorflow编译在前面的文章都有说到在这里不再累赘，进模型之前图片预处理较简单，只是做了个去均值操作，灰度什么的没做处理，下面看...

2018-09-26 13:38:48

阅读数 1697

评论数 0

原 resnet_v2、resnet_v1、inception等网络简单实现及部署

resnet_v2、resnet_v1、inception这些网络在tensorflow中封装的比较死，全部封装在slim模块下，当然一些更高级的网络暂时没看到封装在下面，比如胶囊网络、以及inceptionv4，对应的finetune模型下载地址如下：https://github.com/ten...

2018-09-25 21:10:04

阅读数 436

评论数 0

原 LSTM-CNNs-CRF算法用于做ner等nlp任务

原始论文地址：https://arxiv.org/abs/1603.01354 仔细看了下论文和相关代码实现，原理大概如下：   利用  word级别和char级别的方式作为输入： word级别的 一个序列长度： input_word=tf.placeholder([None,seqlen...

2018-09-19 16:04:25

阅读数 1515

评论数 0

提示
确定要删除当前文章？
取消 删除
关闭
关闭