Scrapy框架 -- 结合百度AI实现文本处理

一、进入百度AI首页，点击右上角的控制台

二、点击左上角的三条杠，选择产品服务，选择自然语言处理

三、点击应用列表，点击创建引用

四、选中我们要进行的文章分类和文章标签，点击立即创建

五、点击管理，保存好APPID，APIKey，SecretKey

六、文章标签实现代码

from aip import AipNlp
APP_ID = '32XXXX'
API_KEY = 'LGcWmXXXXXXXvZ'
SECRET_KEY = 'C8AXXXXXXXHH'
client = AipNlp(APP_ID, API_KEY, SECRET_KEY)
title = "iphone手机出现“白苹果”原因及解决办法，用苹果手机的可以看下"
content = "如果下面的方法还是没有解决你的问题建议来我们门店看下成都市锦江区红星路三段99号银石广场24层01室。"
""" 调用文章标签 """
结果=client.keyword(title, content);
print(结果)
for i in 结果['items']:
    标签=i['tag']
    print(标签)
    if i['score']>0.8:
        print(标签)

运行结果：

七、文章分类代码实现

APP_ID = '327XXXXXXX'
API_KEY = 'LXXXXXXZ'
SECRET_KEY = 'C8XXXXXXH'
client = AipNlp(APP_ID, API_KEY, SECRET_KEY)
title = "欧洲冠军杯足球赛"
content = "欧洲冠军联赛是欧洲足球协会联盟主办的年度足球比赛，代表欧洲俱乐部足球最高荣誉和水平，被认为是全世界最高素质、最具影响力以及最高水平的俱乐部赛事，亦是世界上奖金最高的足球赛事和体育赛事之一。"
""" 调用文章分类 """
结果 =client.topic(title, content)
print(结果)
一级分类=结果['item']['lv1_tag_list'][0]['tag']
print(一级分类)

运行结果

{'log_id': 8466615237936292569, 'item': {'lv2_tag_list': [{'score': 0.915631, 'tag': '足球'}, {'score': 0.803507, 'tag': '国际足球'}, {'score': 0.77813, 'tag': '英超'}], 'lv1_tag_list': [{'score': 0.830915, 'tag': '体育'}]}}
体育