自然语言处理
文章平均质量分 70
xiximayou
这个作者很懒,什么都没留下…
展开
-
基于bert构建自己的分词系统
这里,我们不使用上述的工具,而是利用bert训练一个自己的分词器。原创 2022-08-17 10:14:59 · 1217 阅读 · 5 评论 -
斗破苍穹新词发现
对于一个特定的领域而言,我们可能需要其相关的一些词语,这些词语可以用来进行分词、关键词提取、主题分析等。那么,如何去获得这些词语呢?本文接下来将通过斗破苍穹小说来介绍新词发现。......原创 2022-08-10 22:47:00 · 184 阅读 · 4 评论 -
西西成语接龙小助手
读完该文,你可以收获:python爬虫的简单使用。构建前缀树以进行搜索提示。构建一个简单的成语接龙小程序。原创 2022-08-04 16:49:03 · 415 阅读 · 4 评论 -
基于英雄联盟的知识图谱问答系统
该文介绍了英雄联盟知识图谱的构建以及搭建一个简单的基于知识图谱的英雄联盟问答系统。原创 2022-08-03 10:28:20 · 416 阅读 · 0 评论 -
【标注工具doccano导出数据为空的解决办法】
地址:https://github.com/taishan1994/doccano_exportdoccano_export使用doccano标注工具同时导出实体和关系数据为空的解决办法。doccano版本:1.6.2。标注平台地址:https://github.com/doccano/doccano安装其实安装挺简单的:pip install doccano# Initialize database.doccano init# Create a super user.doccano cr原创 2022-05-20 10:58:26 · 1231 阅读 · 5 评论 -
天池oppo-text-match比赛-苏剑林baseline代码解读
本文根据苏剑林的基于bert的baseline进行短文本匹配的讲解,其github地址是:https://github.com/bojone/oppo-text-match/blob/main/baseline.py赛题地址:https://tianchi.aliyun.com/competition/entrance/531851数据探索下载好相关数据之后,我们先看一下数据是什么样的:path = '/content/drive/MyDrive/oppo-text-match/baseline_原创 2021-03-23 10:27:24 · 941 阅读 · 9 评论 -
【关系抽取-mre-in-one-pass】模型的建立
模型创建相关代码def create_model(bert_config, is_training, input_ids, input_mask, segment_ids, labels, num_labels, use_one_hot_embeddings, extras): """Creates a classification model.""" model = modeling.BertModel( config=bert_config,原创 2021-03-19 14:36:22 · 169 阅读 · 0 评论 -
【关系抽取-mre-in-one-pass】加载数据(一)
模型训练命令python run_classifier.py \ --task_name=semeval \ --do_train=true \ --do_eval=false \ --do_predict=false \ --data_dir=$DATA_DIR/semeval2018/multi \ --vocab_file=$BERT_BASE_DIR/vocab.txt \ --bert原创 2021-03-19 09:49:36 · 235 阅读 · 0 评论 -
【关系抽取-mre-in-one-pass】加载数据(二)
接上一节加载数据(一)上一节我们说到了convert_single_example(ex_index, example, label_list, max_seq_length, tokenizer)这个函数,里面又分别调用了:loc, mas, e1_mas, e2_mas = prepare_extra_data(mapping_a, example.locations, FLAGS.max_distance)而在prepare_extr原创 2021-03-19 09:47:59 · 106 阅读 · 0 评论 -
colab下百度ERNIE的安装
安装paddlepaddle安装命令!python -m pip install paddlepaddle-gpu==2.0.1.post100 -f https://paddlepaddle.org.cn/whl/mkl/stable.html安装paddle-ernie安装命令!pip install paddle-ernie测试安装是否成功下载模型相关的文件!wget https://ernie-github.cdn.bcebos.com/model-ernie1.0.1.tar.原创 2021-03-18 17:09:12 · 602 阅读 · 2 评论