百度AnyQ之三—anyq系统框架和功能

最新推荐文章于 2022-06-29 10:39:38 发布
最新推荐文章于 2022-06-29 10:39:38 发布
阅读量1.1k 收藏
点赞数
分类专栏： 意外接触的一些知识 # anyq 文章标签： AnyQ
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/Castlehe/article/details/120869875
版权

1. 基本介绍

https://github.com/baidu/AnyQ.git

在这里插入图片描述
AnyQ系统框架主要由Question Analysis（问题分析 ）、Retrieval、Matching、Re-Rank等部分组成（上图绿色圆角矩形Question开始，一直走到绿色圆角矩形Answer结束）。其他两部分：

  • 一个是SimNet语义匹配框架的训练过程，
  • 一个是问答数据集的索引（倒排索引：基于开源倒排索引Solr，加入百度开源分词；
    语义检索：基于SimNet语义表示，使用ANNOY进行ANN检索）

整体流程控制的代码，参考：include/strategy/anyq_strategy.h以及对应的src/strategy/anyq_strategy.cpp

  1. 问题分析，包括NER命名实体识别，Reformulation，重组，POS词性标注。
  2. 检索(Retrieval)，包括Semantic Retrieval（语义检索）和Term Retrieval（基于关键词的检索）。
    • 输入的问题通过分析模块（Analysis）对问题进行分词，词向量表示等操作后，再输入到问题检索模块（Retrieval），由该模块将问题带入到FAQ数据集中进行检索，得到前N个候选问题。
    • 可以查看2.2部分的截图，分析输入的query，然后找到与query相关的FAQ集合中的候选问题，candidate query。从输出的log提示中，可以知道使用的是simnet_paddle_sim.cpp这个文件，可以点击这里了解这个文件（主要是完成语义匹配的功能）

    SimNet是百度自然语言处理部于2013年自主研发的语义匹配框架，该框架在百度各产品上广泛应用，主要包括BOW、CNN、RNN、MM-DNN等核心网络结构形式，同时基于该框架也集成了学术界主流的语义匹配模型，如MatchPyramid、MV-LSTM、K-NRM等模型。SimNet使用PaddleFluid和Tensorflow实现，可方便实现模型扩展。使用SimNet构建出的模型可以便捷的加入AnyQ系统中，增强AnyQ系统的语义匹配能力
    百度语义匹配模型-simnet代码整理

    • 看不太懂C++，伤不起。
    • 总之Question Analysis中的NER（命名实体识别）、Reformulation（信息重组）、POS（position of speech）词性标注 都不是在simnet_paddle_sim这个文件中进行的。
  3. 计算这些候选问题的jaccard，使用的是jaccard_sim.cpp这个文件，可以点击这里查看详细情况，其实这个文件挺简单的，就是jaccard相似度，Python里调一行的事情，换成c++加速了。

    Jaccard index , 又称为Jaccard相似系数（Jaccard similarity coefficient）用于比较有限样本集之间的相似性与差异性。Jaccard系数值越大，样本相似度越高。

  4. 将候选结果排序，找出最后选定的那个候选query。主要使用这个rank_strategy.cpp文件，点击这里查看详细情况
  5. 返回上面选定的query对应的回答，作为最终的回答。主要使用这个 anyq_strategy.cpp，点击这里查看文件详情。

框架中包含的功能均通过插件形式加入，如Analysis中的中文切词，Retrieval中的倒排索引、语义索引，Matching中的Jaccard特征、SimNet语义匹配特征。

2 运行结果反推

2.1 solr分词说明

运行的第一步，运行下列shell脚本

cp ../tools/anyq_deps.sh .
sh anyq_deps.sh

这个脚本内容很少，完成的功能也很简单，下载定制版本solr。在solr-4.10.3版本基础上加入了百度开源词法分析作为中文分词插件。

之前有看过solr-4.10.3-anyq/example/solr/collection1/conf/schema.xml.bak这个文件，其实最下面一部分就是语言分词器的配置。
在这里插入图片描述
经过尝试不难发现，
在这里插入图片描述
从分词结果里可以看出，这个功能仅仅就是分词。
在这里插入图片描述
所以默认下载的这个solr已经集成了百度的分词工具了，如果需要自己添加别的分词工具，可以参考：Solr学习总结（八）IK 中文分词的配置和使用

可以查看/home/Anyq-master/build/solr-webapp/webapp/WEB-INF/lib这个文件夹，就可以看到libbaidusegmenter.so和libpaddle_fluid.so这两个一看就是百度的库：
在这里插入图片描述
关于配置的话，自己看不见就直接搜吧，参考：Linux中find常见用法示例

[root@567b3aed2b1c build]# find . -name "*schema.xml" -print
./solr-4.10.3-anyq/example/multicore/core0/conf/schema.xml
./solr-4.10.3-anyq/example/multicore/core1/conf/schema.xml
./solr-4.10.3-anyq/example/solr_config_set/common/managed-schema.xml  ✅
./solr-4.10.3-anyq/example/solr/collection1/conf/managed-schema.xml
./solr-4.10.3-anyq/example/example-DIH/solr/tika/conf/schema.xml
./solr-4.10.3-anyq/example/example-DIH/solr/rss/conf/schema.xml
./solr-4.10.3-anyq/example/example-DIH/solr/solr/conf/schema.xml
./solr-4.10.3-anyq/example/example-DIH/solr/mail/conf/schema.xml
./solr-4.10.3-anyq/example/example-DIH/solr/db/conf/schema.xml
./solr-4.10.3-anyq/example/example-schemaless/solr/collection1/conf/schema.xml

vi ./solr-4.10.3-anyq/example/solr_config_set/common/managed-schema.xml这个文件，终于看到了百度分词的配置。

  <fieldType name="text_multi_lang" class="solr.TextField">
    <analyzer class="org.apache.lucene.analysis.baiducn.BaiduAnalyzer"/>

2.2 其他运行结果说明

# 启动solr, 依赖python-json, jdk>=1.8
cp ../tools/solr -rp solr_script
sh solr_script/anyq_solr.sh solr_script/sample_docs

#运行
./run_server

在完整的一次问答的响应的log输出中，可以看到
在这里插入图片描述
开始就是加载一些配置文件
在这里插入图片描述
然后检查网络服务怎么样，分词，和solr通信
在这里插入图片描述
和solr通信，找到返回的FAQ的结果，然后进行检索，还有排序策略
在这里插入图片描述
最后才是使用语义匹配看得分

–

2.2文件结构说明

.
├── AUTHORS
├── build  # 编译生成的文件夹
│   ├── annoy_index_build_tool
│   ├── anyq_deps.sh
│   ├── CMakeCache.txt
│   ├── CMakeFiles
│   ├── cmake_install.cmake
│   ├── demo_anyq
│   ├── demo_anyq_multi
│   ├── example
│   ├── example.tar.gz
│   ├── faq
│   ├── feature_dump_tool
│   ├── libanyq.a
│   ├── logs
│   ├── Makefile
│   ├── nohup.out
│   ├── proto_build-prefix
│   ├── rpc_data
│   ├── run_server
│   ├── solr-4.10.3-anyq
│   ├── solr-4.10.3-anyq.tar.gz
│   ├── solr_script
│   ├── solr-webapp
│   └── third_party
├── cmake # cmake的脚本，指定需要的第三方库的处理方式
│   ├── external
│   └── proto_build.cmake
├── CMakeLists.txt # CMakeLists 就是cmake的脚本
├── demo 
│   ├── annoy_index_build.cpp
│   ├── demo_anyq.cpp
│   ├── demo_anyq_multi.cpp
│   ├── feature_dump.cpp
│   └── run_server.cpp
├── docs
│   ├── config_tutorial.md
│   ├── images
│   ├── plugin_tutorial.md
│   └── semantic_retrieval_tutorial.md
├── include
│   ├── analysis
│   ├── common
│   ├── config
│   ├── dict
│   ├── matching
│   ├── rank
│   ├── retrieval
│   ├── server
│   └── strategy
├── LICENSE
├── proto
│   ├── anyq.proto
│   └── http_service.proto
├── README.EN.md
├── README.md
├── src
│   ├── analysis
│   ├── common
│   ├── config
│   ├── dict
│   ├── matching
│   ├── rank
│   ├── retrieval
│   ├── server
│   └── strategy
└── tools
    ├── anyq_deps.sh
    ├── common
    ├── ltr
    ├── simnet
    └── solr

参考：

吨吨不打野
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
专栏目录
AnyQ:基于常见问题的问答系统
03-11
任意Q AnyQ（回答您的问题）开源项目主要包含面向FAQ集合的问答系统框架，文本语义匹配工具SimNet。问答系统框架采用了配置化，插件化的设计，各功能均通过插件形式加入，当前共开放了20+种插件。开发者可以使用AnyQ系统快速构建和定制适用于特定业务场景的常见问题解答系统，并加速解码和升级。 SimNet是百度自然语言处理部于2013年自主研发的语义匹配框架，该框架在百度各产品上广泛应用，主要包括BOW，CNN，RNN，MM-DNN等核心网络结构形式，同时基于该框架也集成了学术界主流的语义匹配模型，如Match金字塔，MV-LSTM，K-NRM等模型。SimNet使用PaddleFluid和Tensorflow实现，可方便实现模型扩展。 AnyQ系统的语义匹配能力（） 详细介绍 常见问题解答系统框架 AnyQ系统框架主要由问题分析，检索，匹配，重新排名等部分组成，框架中包含的功能均通
Python-AnyQ是百度开源项目主要包含面向FAQ集合的问答系统框架文本语义匹配工具SimNet
08-11
AnyQ 是百度开源项目主要包含面向FAQ集合的问答系统框架、文本语义匹配工具SimNet
mathTest_anyq9a_Graham_Scan算法_
10-01
Graham Scan算法是一个用来求凸包的算法，采用java语言对该算法进行实现
百度AnyQ之四——使用anyq的方式添加数据试验
Castlehe的博客
11-10 1210
1. 加入自己的测试数据（手动一条一条加） 1.1 常用容器操作 常用到的进入容器命令行和开启服务的命令 # 开启docker docker container exec -it anyq-faq /bin/bash # 切换到服务脚本目录 cd /home/AnyQ-master/build/ && ./run_server # 浏览器输入 http://XXXX:8886/anyq?question=使用什么账号？ # solr查看，浏览器输入： http://XXX:8900/solr
百度开源AI自然语言处理 FAQ 问答系统（AnyQ）编译安装---Linux（无docker）
xmcy001122的专栏
01-10 1433
百度AI自然语言处理AnyQ开源FAQ问答系统Centos7编译运行 PS：根据“百度开源 FAQ 问答系统（AnyQ）安装—Linux（无docker）” https://blog.csdn.net/qq_28385535/article/details/83213822 在以下环境试验成功，特此记录： CentOS Linux release 7.2.1511 (Core) 8GB # 如果c...
百度开源 FAQ 问答系统—AnyQ【使用语义匹配技术 SimNet】
u013250861的博客
03-03 719
近年来，随着人工智能技术的发展，人机对话技术得到越来越多的关注，人机对话产品也不断涌现。其中，智能客服作为人机对话的一个典型场景表现出极大的商业潜力和很强的研究价值，各企业也争先恐后的推出自己的智能客服产品。 FAQ 问答技术作为智能客服系统最核心技术之一，在智能客服系统中发挥重要作用。通过该技术，可实现在知识库中快速找到与用户问题相匹配的问答，为用户提供满意的答案，从而极大提升客服人员效率，改善客服人员服务化水平，降低企业客服成本。 百度在2018年 7 月的 AI 开发者大会上开源了首个工业级基于语义计
百度AnyQ之一——基于docker进行安装
Castlehe的博客
10-19 1728
1. 前置内容 1.1 风险警告 写在前面——前置风险： 这个库并不像PaddleOCR那个库那么流行，维护更新那么及时。这个库——github-AnyQ，最近一次更新时间是2020.11.28。(这个库第一次提交是2018年7月2号，也有可能是因为经过两年的完善，没有更多人试出更多错误。。。) 另外根据网上很多安装教程，最好使用docker安装，而且可能会由于gcc等的版本问题，安装失败，还可能会由于网络原因失败。 另外，AnyQ这个库的迭代更新并不与PaddlePaddle一致，所以下载安装包的时候最
【AnyQ】百度开源 FAQ 问答系统—AnyQ介绍
u011590738的博客
06-29 2881
近年来，随着人工智能技术的发展，人机对话技术得到越来越多的关注，人机对话产品也不断涌现。其中，智能客服作为人机对话的一个典型场景表现出极大的商业潜力和很强的研究价值，各企业也争先恐后的推出自己的智能客服产品。FAQ 问答技术作为智能客服系统最核心技术之一，在智能客服系统中发挥重要作用。通过该技术，可实现在知识库中快速找到与用户问题相匹配的问答，为用户提供满意的答案，从而极大提升客服人员效率，改善客服人员服务化水平，降低企业客服成本。百度在今年 7 月的 AI 开发者大会上开源了首个工业级基于语义计算的 FA
百度AnyQ之二—基本使用和测试配置镜像结果
Castlehe的博客
10-20 1117
1 基础使用 继续跟着这个走： 小白编译AnyQ-docker&linux[CentOs]——AnyQ系列之一 容器创建时使用的命令是： docker run -itd --name centos-anyq -p 0.0.0.0:8888:8999 centos:centos7 # 这句话其实有问题，把容器放到后台执行了 docker exec -it centos-anyq /bin/bash # 把容器放回到前台 demo查看 # 获取anyq定制solr，anyq示例配置 cp ..
百度开源 FAQ 问答系统（AnyQ）安装---Linux（无docker）+小白编译AnyQ-docker&linux[CentOs]
古月哲亭
09-17 481
原文链接：https://blog.csdn.net/qq_28385535/article/details/83213822 1.系统下载及环境安装 1.github地址：https://codeload.github.com/baidu/AnyQ/zip/master 手动下载系统包 2.或者在linux终端执行命令 git clone https://github.com/baidu/AnyQ.git 1 3.cmake3安装 安装gcc/g++的软件依赖（要求大于4.8.2）（已安装请跳过）
AnyQ_SERVER.rar_AnyQserver_anyq_服务器端源码
09-23
anyq服务器端源码,对于研究此类软件人员有很大的帮助,对通讯服务器感兴趣的朋友也能有很大的提高
AnyQ代码
07-24
AnyQ源代码.能和jabberd14服务器通讯的客户端,目前应该是国内开源做的最好的
pwd命令是什么的缩写_AnyQ 是什么
weixin_42537919的博客
12-30 417
Answer your Question百度研发的一个QA框架，首个工业级基于语义计算的 FAQ 问答系统——AnyQ是一个配置化、插件化框架， 各功能均通过插件形式加入如何使用AnyQ 并运行Demogit clone https://github.com/baidu/AnyQ.git 到本地文件夹windows或者Mac用户建议用docker的方式运行，因为很多包都是linux的环境下才可以用...
百度开源 FAQ 问答系统（AnyQ）试用及系统架构
nopSled
11-04 6418
1.使用过程 AnyQ系统安装完毕后，通过在build文件夹下执行./run_server命令，来运行系统。系统启动完毕，即可在浏览器中输入http://${host}:${port}/anyq?question=XXX向AnyQ系统发出以question=后面的内容为问题的请求。 最初时，通过上述方式向AnyQ系统发送问题，页面返回结果为空，此时需要按下面文档所述方式对系统进行配置 https...
AnyQ如何配置solr动态读取数据库——AnyQ系列之二
ddocanwol的博客
02-26 2102
一、anyq容器host模式运行 由于anyq容器，后期还会有其他端口需要访问，比如solr的webapp页面端口就是8900，等等。所以可以采用host方法run一个新的容器。 #提交anyq镜像，生成新镜像anyq-host,并run新的anyq-host容器 docker stop anyq docker commit anyq anyq-host #使用--privileged=true和...
百度AnyQ之五——FAQ部分逻辑理解
Castlehe的博客
11-10 1788
在之前启动服务的时候，可以发现，是先启动solr服务，再启动faq服务的， 从百度AnyQ之四中可以知道，FAQ数据集部分是完全由solr去控制的， 所以anyq中，数据和模型（逻辑控制）这两个部分，非常松耦合。 所以这部分，考虑看一下逻辑部分 1. run_server 1.1 锁定文件 启动faq服务，其实是在./build/run_server部分，查看其文件类型，使用ls -l或者ll查看文件详细信息。 关于linux文件系统，如果有不清楚的，可以去看文末扩展部分。 其中run_server.
百度AnyQ之八——solr的一些知识点
Castlehe的博客
11-18 443
参考：Solr 05 - Solr Web管理界面的基本使用 1. CoreAdmin - Solr核心 Solr Core的管理界面. 在这里可以添加Solr Core实例(有Bug, 不推荐使用Solr管理界面添加Solr Core). 上面添加core的时候重启就是因为这个 2. Java Properties - Java参数 其中关于jetty，默认自带的一个服务，在java properties中都可以看到。 同时在指定的jetty.home中，可以看到很多和jetty相关的文件 –
初探百度开源框架AnyQ
weixin_42891039的博客
08-06 7521
初探百度开源框架AnyQ 初探百度开源框架AnyQ docker安装 docker环境搭建 demo运行 推荐Docker安装，非docker各种坑。 首先安装docker，docker安装以及常见指令： docker安装 sudo apt-get update apt-get -y install docker.io docker –v docker指令： ...
go-api是基于Gin基础上开发的一个可以快速开始的api脚手架.zip
最新发布
05-23
Go语言（也称为Golang）是由Google开发的一种静态强类型、编译型的编程语言。它旨在成为一门简单、高效、安全和并发的编程语言，特别适用于构建高性能的服务器和分布式系统。以下是Go语言的一些主要特点和优势： 简洁性：Go语言的语法简单直观，易于学习和使用。它避免了复杂的语法特性，如继承、重载等，转而采用组合和接口来实现代码的复用和扩展。 高性能：Go语言具有出色的性能，可以媲美C和C++。它使用静态类型系统和编译型语言的优势，能够生成高效的机器码。 并发性：Go语言内置了对并发的支持，通过轻量级的goroutine和channel机制，可以轻松实现并发编程。这使得Go语言在构建高性能的服务器和分布式系统时具有天然的优势。 安全性：Go语言具有强大的类型系统和内存管理机制，能够减少运行时错误和内存泄漏等问题。它还支持编译时检查，可以在编译阶段就发现潜在的问题。 标准库：Go语言的标准库非常丰富，包含了大量的实用功能和工具，如网络编程、文件操作、加密解密等。这使得开发者可以更加专注于业务逻辑的实现，而无需花费太多时间在底层功能的实现上。 跨平台：Go语言支持多种操作系统和平台，包括Windows、Linux、macOS等。它使用统一的构建系统（如Go Modules），可以轻松地跨平台编译和运行代码。 开源和社区支持：Go语言是开源的，具有庞大的社区支持和丰富的资源。开发者可以通过社区获取帮助、分享经验和学习资料。 总之，Go语言是一种简单、高效、安全、并发的编程语言，特别适用于构建高性能的服务器和分布式系统。如果你正在寻找一种易于学习和使用的编程语言，并且需要处理大量的并发请求和数据，那么Go语言可能是一个不错的选择。
自然语言处理问答系统框架
12-09
自然语言处理问答系统框架通常包括以下几个步骤： 1. 文本预处理：对输入的自然语言文本进行分词、词性标注、命名实体识别等处理，以便后续处理。 2. 召回阶段：在大规模的知识库中，通过检索技术（如倒排索引）快速地找到与用户问题相关的候选答案。 3. 精排阶段：对召回阶段得到的候选答案进行排序，选出最可能的答案。这个阶段通常使用机器学习算法，如基于特征的排序（如LambdaMART）或神经网络模型（如BERT）。 4. 答案生成：根据排序阶段选出的答案，生成自然语言的回答。这个阶段通常使用模板匹配、逻辑推理等技术。 5. 答案融合：将多个来源的答案进行融合，生成最终的回答。 一个常见的自然语言处理问答系统框架是百度开源的AnyQ，它的架构分成两级，分别叫做粗排和精排，也可以叫做召回层和排序层。其中，粗排阶段使用倒排索引等技术快速召回候选答案，精排阶段使用LambdaMART等机器学习算法对候选答案进行排序。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

吨吨不打野

解决了问题，觉得还行就给点

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值