文字情绪识别和中文分词(百度飞桨AI框架模型案例)

文字情绪识别-词汇分析

库安装

pip install --upgrade paddlepaddle -i https://mirror.baidu.com/pypi/simple
pip install --upgrade paddlehub -i https://mirror.baidu.com/pypi/simple
官网:https://www.paddlepaddle.org.cn/hub

备注: 以下模型案例代码第一次运行时会下载相应模型,下载后会放在类似C:\Users\Administrator\.paddlehub\modules 的路径中

一、文字情绪识别

代码:

import paddlehub as hub

senta = hub.Module(name='senta_lstm')  # 加载senta_lstm模型
sentence = [
    '你是小学生吗?', '啥情况心理没点数?', '我劝你善良',
    '帝王一怒血流千里', '这个游戏好好玩', '什么垃圾游戏',
]
results = senta.sentiment_classify(data={"text":sentence})  # 情绪识别
for result in results:
    print(result)  # 输出识别结果

执行结果:
在这里插入图片描述

从结果来看,百度文字情绪模型做的还不错,一些网络术语也能精准识别是褒是贬,这点给百度点个👍

二、中文分词

代码:

import paddlehub as hub
import os
# os.environ['CUDA_VISIBLE_DEVICES'] = '0' # 使用GPU加速取消该注释
​
lac = hub.Module(name="lac")    # 加载lac模型,LAC是Lexical Analysis of Chinese的首字母缩写
test_text = [
    "即使一切冰封,你也在我眼中闪亮", 
    "邂逅你是生生世世的宿命", "方生方死,方死方生"
]# 1.请注意,此处属性use_gpu设置为False,batch_size设置为1,是因为按照以上pip方式直接安装百度飞桨(paddlepaddle)框架是无法获得显卡加速的,意味着在处理海量文本分词时更耗时
# 2.如若你电脑有显卡,可以考虑安装GPU版本的飞桨,这样就可以将use_gpu设置为True,batch_size设置为16、32、64、128等等,数字取决于显卡内存大小,先从小往大一步步调试,报错时就意味着该数值已将显卡内存耗尽
# 3. GPU加速版(并行计算)paddlepaddle的安装教学参考另一篇博客,链接放在文末
results = lac.cut(text=test_text, use_gpu=False, batch_size=1, return_tag=True)for result in results:
    print(result['word'])
    print(result['tag'])

执行结果:
在这里插入图片描述从以上结果来看,百度词汇分析模型效果也挺OK的。此外,tag键获取的词性解释如下图:
在这里插入图片描述有必要说明,这些词性解释在一定场景下有极大的实用价值,你可以根据机构名、人名、时间或地名等快速筛选文本中的关键信息
百度飞桨(paddlepaddle)还有很多其他的模型库可直接商用,相较于tensorflow人工智能模型库,百度飞桨一些训练好的模型在实用性方面对国人更好,毕竟我们每天面对的都是汉语文化,而这些模型也是基于汉语训练的,老外做出来的基于汉语的模型真心不如国产百度的。感兴趣的伙伴可以阅读飞桨模型库教学官网学习了解更多实用案例。

GPU加速版paddlepaddle-gpu的安装
https://blog.csdn.net/weixin_47834823/article/details/128153944

  • 0
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值