拿来即可用系列❤️
文章平均质量分 54
涵盖NLP相关的多数模型的实现,包括词向量,文本分类,ner,文本匹配,答案抽取等等。每个项目尽量做到简单,适合新手拿来使用和学习。
一条水里的鱼
这个作者很懒,什么都没留下…
展开
-
DPP重排算法
一、背景 多样性和相关性是衡量推荐系统的常用的指标,这两个指标同时影响着推荐系统的商业目标和用户体验。假设我们有一个待推荐的候选商品集合,针对一个给定的用户,推荐系统需要选择商品集合中的个商品展现给用户,同时希望展现给用户的商品列表满足一定相关性和多样性。这就是我们要解决的问题,那么首先我们必须弄清楚如何衡量相关性和多样性。Hulu在NIPS 2018 会议上发表的论文《Fast Greedy MAP Inference for Determinantal Point...原创 2021-04-25 15:00:57 · 4674 阅读 · 2 评论 -
python多线程下载图片(代码可调试)
./image.parquet数据存放地址:链接:https://pan.baidu.com/s/1DYWkQxzXhTvw1mPY3ukoww提取码:tjlwimport osimport sysimport timeimport threadpoolimport requestsimport numpy as npfrom tqdm import tqdmimport tensorflow as tfimport pandas as pdimport pyarrow....原创 2021-04-25 11:11:11 · 407 阅读 · 1 评论 -
python爬虫实战——下载百度学术文章标题
import urllib.requestimport reimport osdef open_url(url): req=urllib.request.Request(url) req.add_header('User-Agent','Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50').原创 2021-02-24 17:01:59 · 500 阅读 · 1 评论 -
拿来即可用系列——超简单地构建bert文本分类模型
一、前言bert作为优秀的预训练模型,在序列标注、文本分类和文本匹配任务中,即使利用少量的标注数据,就可以取得非常好的结果,因此bert也是目前NLP中最火的预训练模型。bert根据参数量大小分为base版,large版和xlarge版,同时bert的演进版有albert,robert。其中albert版可以理解为bert版本的mini版,虽然是mini版但是有时候在同一任务,反而表现的更好(可惜的是,我遇到任务都是bert要更胜一筹),而robert是bert的加强版,在bert的基础上,采用更多更好原创 2020-12-30 13:50:55 · 1808 阅读 · 5 评论 -
拿来即可用系列——10行代码搭建elmo文本分类模型
一、前言很遗憾的说,elmo与bert相比,几乎没什么优势,所以在NLP任务中,基本可以利用bert替代elmo。既然这样为什么写这篇文章来介绍elmo文本分类的实践,首先了解elmo,可以更好的理解bert的产生的过程,另外呢,如果你打比赛,可能需要多做一个模型来融合。二、Elmo文本分类#Author = TJL#date:2020/12/11import tensorflow as tfimport osfrom tensorflow import kerasimport te原创 2020-12-30 10:47:09 · 544 阅读 · 0 评论 -
拿来即可用系列——文本分类(rnn与cnn模型汇总)
拿来即可用,非常的方便。若执行失败,请联系[email protected]或微信tu1982226215上一篇:拿来即可用系列——glove及gensim训练词向量一、前言这里汇总里常用的文本分类模型,包括textcnn,rcnn,transformer,bilstm-atten等,并且有两个版本,分别是pytorch和tensorflow1.x版本,代码中含样例数据,可以直接运行。具体如何运行,代码逻辑和运行环境都在README.md中有详细说明。二、目录三、完整代码git.原创 2020-12-21 11:28:10 · 245 阅读 · 0 评论 -
拿来即可用系列——glove及gensim训练词向量
拿来即可用,非常的方便。若执行失败,请联系[email protected]或微信tu1982226215github地址:https://github.com/ttjjlw/Embeding,请前往该地址下载glove及gensim训练词向量的相关代码gensim训练词向量:1、先执行generate_train_corpus.py文件2、再执行Word2Vec.py文件,即...............原创 2020-03-13 22:35:24 · 1898 阅读 · 1 评论