Linux系统 安装飞桨PaddleHub+LAC实现词法分析 实现加载自定义词典分词 （解决Lac服务启动报错问题、解决自定义词典空格无法分词问题）

最新推荐文章于 2024-08-07 09:57:39 发布
最新推荐文章于 2024-08-07 09:57:39 发布
阅读量1.2k 收藏
点赞数
分类专栏： nlp lac 文章标签： PaddleHub LAC lac 文本 - 词法分析 百度lac
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/changingshow/article/details/120042825
版权
本文档介绍了如何在Linux系统上安装PaddleHub和LAC模型，进行中文词法分析。通过升级Python版本，安装Anaconda，创建conda环境并激活，安装PaddlePaddle和PaddleHub，接着部署LAC服务。在遇到自定义词典含空格导致的分词问题时，通过修改`serving_config.json`的sep参数解决了问题，实现了正确分词并使用Postman验证了服务的正常运行。
摘要由CSDN通过智能技术生成

1、先上链接：飞桨PaddlePaddle-源于产业实践的开源深度学习平台

2、LAC模型简介：Lexical Analysis of Chinese，简称 LAC，是一个联合的词法分析模型，能整体性地完成中文分词、词性标注、专名识别任务。在百度自建数据集上评测，LAC效果：Precision=88.0%，Recall=88.7%，F1-Score=88.4%。该PaddleHub Module支持预测。

3、文档要求安装环境 Python>=3.6.2, PaddlePaddle >= 2.0.0

4、我的环境py版本太低，先升级py

5、Linux 系统升级Python版本，2.7.5升级到3.9.6==》文章

6、安装 Anaconda：下载地址：Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

 wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2021.05-Linux-x86_64.sh

最低0.47元/天 解锁文章
changingshow
关注
专栏目录
PaddleHub PaddleGAN 飞桨 环境安装 2.1 linux gpu
q742971636的博客
06-28 946
环境 conda create -n paddle_env python=3.7 conda activate paddle_env conda install paddlepaddle-gpu==2.1.0 cudatoolkit=10.1 --channel https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/ pip install paddlehub==2.1.0 pip install numpy==1.19.1 pip insta
Linux下安装Paddle Paddle
09-23
中间注意：如果系统支持的是 linux_x86_64 而安装包是 manylinux1_x86_64 ，需要升级pip版本到最新； 如果系统支持 manylinux1_x86_64 而安装包（本地）是 linux_x86_64， 可以重命名这个whl包为 manylinux1_x86_64 再安装。
LAC (Lexical Analysis for Chinese) 安装与使用指南
gitblog_00996的博客
08-07 899
LAC (Lexical Analysis for Chinese) 安装与使用指南 lac百度NLP：分词，词性标注，命名实体识别，词重要性项目地址:https://gitcode.com/gh_mirrors/la/lac 1. 项目目录结构及介绍 在解压或克隆完成LAC仓库后，您将会看到以下基本目录结构： . ├── python # 包含Python API的源代码 ├── c++...
Linux安装paddleHub、paddleX的详细步骤，预测模型快速部署
weixin_45943355的博客
08-04 2395
借助PaddleHub-Serving，可以将PaddleX的Inference Model进行快速部署，以提供在线预测的能力。现在我们开始来安装paddlepaddle、paddleX、paddleHub。
paddlehub的安装
ddxn417的博客
10-17 2932
paddlehub安装
ubuntu安装hub
weixin_34297300的博客
07-22 1156
2019独角兽企业重金招聘Python工程师标准>>> ...
基于C++及多语言的LAC中文词法分析工具源码设计
最新发布
10-06
该项目为基于C++核心的LAC（Lexical Analysis of Chinese）中文词法分析工具源码，融合了C、Python、Java等多语言技术，包含99个文件，其中包含15个PNG图片、14个Python脚本、14个C/C++源文件、9个XML配置文件、6个...
PaddleHub实战篇{词法分析模型LAC、情感分类ERNIE Tiny}训练、部署【三】
05-31
PaddleHub实战篇{词法分析模型LAC、情感分类ERNIE Tiny}训练、部署【三】 文章参考链接： ...
2 lac 分词_Java/Python调用百度LAC进行词法分析实现
weixin_31510505的博客
12-24 869
LAC功能在于中文分词、词性标注、NER，对于基本的词法分析效果还是蛮不错的，如下为其对应词性和ner标签：写这篇博客的目的也是在于进一步梳理思路和过程，毕竟当时还是踩了一些坑的，写下来，于人于己都方便！话不多说，开始啦~其实吧，LAC如果通过python调用，十分便捷，如LAC githubhttps://github.com/baidu/lac所示：Python3 pip安装：pip ins...
如何在jieba分词中加自定义词典_常见中文分词包比较
weixin_39771791的博客
11-23 550
1 jiebajieba.cut 方法接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型jieba.cut_for_search 方法接受两个参数：需要分词的字符串；是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：...
Py之paddlehub：paddlehub的简介、安装、使用方法之详细攻略
01-20
Py之paddlehub：paddlehub的简介、安装、使用方法之详细攻略 目录 paddlehub的简介 paddlehub的安装 paddlehub的使用方法 1、使用PaddleHub下载数据集、预训练模型等 paddlehub的简介       PaddleHub是飞桨预训练模型管理和迁移学习工具，通过PaddleHub开发者可以使用高质量的预训练模型结合Fine-tune API快速完成迁移学习到应用部署的全流程工作。其提供了飞桨生态下的高质量预训练模型，涵盖了图像分类、目标检测、词法分析、语义模型、情感分析、视频分类、图像生成、图像分割、文本审核、关键点检测等主流模型。更多模型
百度飞桨PaddleHub | 词法分析
Andrwin的博客
08-13 611
之前一直在用LTP的分词，偶然接触到了PaddleNLP，发现它的分词支持导入本地词典，决定试一下。 首先安装paddlepaddle pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple 然后安装paddlehub pip install paddlehub -i https://mirror.baidu.com/pypi/simple 然后安装lac hub install lac==2.2.0 Lexic
怎样飞浆pp部署在Linux上
weixin_42592399的博客
02-15 438
"飞浆PP" 是百度推出的一个深度学习模型训练平台，可以用于训练各种深度学习模型。要在 Linux 上部署飞浆PP，您可以按照以下步骤进行操作： 安装依赖项：在开始部署之前，您需要安装一些依赖项，包括Python、CUDA、cuDNN和NCCL等。您可以根据飞浆PP官方文档上的要求来安装这些依赖项。 下载和安装飞浆PP：您可以从飞浆PP官方网站上下载所需的版本。下载完成后，您可以使用以下命令进...
如何在基于Lucene的中文分词器中添加自定义词典（如Paoding、mmseg4j、IK Analyzer）...
leiyongping的专栏
09-02 1053
如何在基于Lucene的中文分词器中添加自定义词典（如Paoding、mmseg4j、IK Analyzer）   2013-07-08 21:54:29|  分类： 计算机 |字号 订阅   1. 使用Paoding自定义词典 参考文章：http://blog.csdn.net/zhangt85/article/details/8067743 ...
最新paddlehub2.0以上版本如何加载自定义数据做finetune
qq_15821487的博客
05-17 700
自定义数据 训练一个新任务时，如果从零开始训练时，这将是一个耗时的过程，并且效果可能达不到理想的效果，此时您可以利用PaddleHub提供的预训练模型进行具体任务的Fine-tune。您只需要对自定义数据进行相应的预处理，随后输入预训练模型中，即可得到相应的结果。请参考如下内容设置数据集的结构。 一、图像分类数据集 利用PaddleHub迁移分类任务使用自定义数据时，需要切分数据集，将数据集切分为训练集、验证集和测试集。 数据准备 需要三个文本文件来记录对应的图片路径和标签，此外还需要一个标签文件用于记
LAC使用异常
u011939633的博客
09-20 500
1:ImportError: libGL.so.1: cannot open shared object file: No such file or directory sudo apt update sudo apt install libgl1-mesa-glx 2:NameError: name 'batch' is not defined 关闭ipython，重新启动即可
Linux服务器搭建百度分词工具LAC具体流程细节
懂点SEO的程序猿
12-16 755
首先，建议在Linux中搭建一个宝塔运行环境，相对而言会简单很多。 搭建完宝塔运行环境后，需要在宝塔软件商店中安装一个Python项目管理器。 在Python项目管理器中的Python版本中安装一个Python3.7.0。 安装完毕后需要添加一个项目。 然后登陆SSH远程连接工具，输入命令进入虚拟环境。 然后在虚拟环境中直接运行百度LAC安装命令：pip install lac，等待安装完毕！ ...
已解决ModuleNotFoundError: No module named ‘LAC‘
努力让自己发光，对的人才能迎着光而来
10-12 9415
已解决ModuleNotFoundError: No module named ‘LAC‘
paddle框架下PaddleHub模块如何实现中文文本的分词，请代码展示
05-30
在Paddle框架下，使用PaddleHub模块实现中文文本的分词非常简单，只需要几行代码即可完成。以下是使用PaddleHub模块实现中文文本分词的示例代码： ``` import paddlehub as hub # 加载LAC分词模型 model = hub....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

changingshow

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值