【python】bert 计算文章(句子)的相似度，QA问答系统

最新推荐文章于 2024-07-02 13:18:10 发布

.云哲.

最新推荐文章于 2024-07-02 13:18:10 发布

阅读量9k

点赞数 4

分类专栏： python

本文链接：https://blog.csdn.net/luolinll1212/article/details/102490552

版权

本文介绍了BERT模型在NLP领域的应用，详细讲解如何通过Python启动BERT，包括指令和脚本方式下载及解压预训练模型。还讨论了自定义分词、构建QA问答系统进行相似度计算的方法，并提供了pytorch实现离线权重计算的资源链接，最后指导了环境安装和客户端连接的步骤。

摘要由CSDN通过智能技术生成

1，bert介绍
google在2018年10月底公布BERT在11项NLP任务中的卓越表现后，已经超越了先前沿用的最先进的技术，基于transformer的BERT系列一经问世就在NLP领域掀起了一场风暴，整个ML界略有耳闻的模型。

安装

pip install bert-serving-server bert-serving-client 
# pip install flask_compress flask_cors flask_json

2，bert启动
2.1 指令方式
下载中文bert预训练模型，地址:https://github.com/google-research/bert，并解压

bert-serving-start -model_dir C:\Software\chinese_L-12_H-768_A-12 -num_worker=1 #-http_port 8001

2.2 脚本方式

# -*- coding: utf-8 -*-
from bert_serving.server.helper import get_args_parser
from bert_serving.server import BertServer
args = get_args_parser().parse_args(['-model_dir', 'C:\Software\chinese_L-12_H-768_A-12',
                                     '-port', '15555', # 客户端连接填入port和port_out参数
                                     '-port_out', '15556',
                                     '-max_seq_len', 'NONE',
                                     '-mask_cls_sep',
                                     '-cpu'])

if __name__ == '__main__':
    server = BertServer(args)
    server.start()