AliNLP架构

AliNLP 自然语言技术平台

这里写图片描述

阿里AliNLP系统架构图

这里写图片描述
1. 词法分析(分词、词性、实体):
- 算法:基于Bi-LSTM-CRF算法体系,以及丰富的多领域词表
2. 句法分析(依存句法分析、成分句法分析):
- 算法:Shift-reduce,graph-based,Bi-LSTM
- 应用:资讯搜索、评价情感分析
3. 情感分析(情感对象、情感属性、情感属性关联):
- 算法:情感词典挖掘,属性级、句子级、篇章级情感分析
- 应用:商品评价、商品问答、品牌舆情、互联网舆情
4. 句子生成(句子可控改写、句子压缩):
- 算法:Beam Search、Seq2Seq+Attention
- 应用:商品标题压缩,资讯标题改写,PUSH消息改写
5. 句子相似度(浅层相似度、语义相似度):
- 算法:Edit Distance,Word2Vec,DSSM
- 应用:问大家相似问题、商品重发检测、影视作品相似等
6. 文本分类/聚类(垃圾防控、信息聚合):
- 算法:ME,SVM,FastText
- 应用:商品类目预测、问答意图分析、文本垃圾过滤、舆情聚类、名片OCR后语义识别等
7. 文本表示(词向量、句子向量、篇章向量、Seq2Seq):
- Word2Vec、LSTM、DSSM、Seq2Seq为基础进行深入研究
8. 知识库
- 数据规模:电商同义词,通用同义词,电商上下位,通用上下位,领域词库(电商词、娱乐领域词、通用实体词),情感词库
- 挖掘算法:bootstrapping,click-through mining,word2vec,k-means,CRF
- 应用:语义归一、语义扩展、Query理解、意图理解、情感分析
9. 语料库
- 分词、词性标注数据,依存句法标注数据

电商类或者某种服务体系的评价系统算法总架构图
这里写图片描述
- 关键点:
- 溯源:从源头刺激用户得到有用评论
- 去伪:去除掉与产品无关或者虚假的评论
- 扶优:对真实有效的评论深入挖掘
- 增值:在业务上提升服务价值

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值