![](https://img-blog.csdnimg.cn/c99a2e7e60034715a5cb00b561f839f5.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
anyq
文章平均质量分 90
经典问答系统的实现
吨吨不打野
不要慌,不要慌,太阳落下有月光
展开
-
百度AnyQ之九——设置UUID
1. UUID首先了解一下什么是UUID,参考百度百科UUIDUUID 是 通用唯一识别码(Universally Unique Identifier)的缩写;UUID是基于当前时间、计数器(counter)和硬件标识(通常为无线网卡的MAC地址)等数据计算生成的;UUID全局(分布式系统上)唯一有不同的生成算法和生成长度,应用于数据库的主键的时候不用考虑重复的问题。UUID的好处和坏处,参考:为什么MySQL不推荐使用uuid作为主键?和MySQL不建议用UUID做innodb主键的几条原创 2021-11-23 17:36:20 · 1856 阅读 · 0 评论 -
百度AnyQ之八——solr的一些知识点
参考:Solr 05 - Solr Web管理界面的基本使用1. CoreAdmin - Solr核心Solr Core的管理界面. 在这里可以添加Solr Core实例(有Bug, 不推荐使用Solr管理界面添加Solr Core).上面添加core的时候重启就是因为这个2. Java Properties - Java参数其中关于jetty,默认自带的一个服务,在java properties中都可以看到。同时在指定的jetty.home中,可以看到很多和jetty相关的文件–原创 2021-11-18 17:00:48 · 457 阅读 · 0 评论 -
百度AnyQ之七——使用solr的api上传/删除数据
不打算用mysql,所以考虑直接调用接口逐条添加,这样服务器这边压力小一些,不用维护一个数据库,数据库可以在另一个地方维护,然后只给这边添加删除数据就好了。1. solr本身的接口1.0 查看solr的API还是以上传一个faq对为例,{"answer": "带上口罩吧,狗命要紧", "question": "别人都带口罩,我需要带吗?", "id": "101"}(注意:solr的solr_core中的数据id序号是从1开始的,不是从0开始的)可以打开控制台,查看Console 控制台,可原创 2021-11-18 16:58:25 · 919 阅读 · 0 评论 -
百度AnyQ之六——结合streamlit快速搭建一个网页
主要有一个问题,streamlit不会自动帮你判断,question为空的时候,程序不继续向下执行。所以这时候需要判断一下question的内容是否为空,就这个判断除了问题,导致一直出错,这里记录一下。import requestsimport streamlit as stst.title('✨FQA demo')st.subheader("请输入你的问题:")question= st.text_input("", value="", key=None)st.subheader("问.原创 2021-11-11 11:45:16 · 507 阅读 · 0 评论 -
百度AnyQ之五——FAQ部分逻辑理解
在之前启动服务的时候,可以发现,是先启动solr服务,再启动faq服务的,从百度AnyQ之四中可以知道,FAQ数据集部分是完全由solr去控制的,所以anyq中,数据和模型(逻辑控制)这两个部分,非常松耦合。所以这部分,考虑看一下逻辑部分1. run_server1.1 锁定文件启动faq服务,其实是在./build/run_server部分,查看其文件类型,使用ls -l或者ll查看文件详细信息。关于linux文件系统,如果有不清楚的,可以去看文末扩展部分。其中run_server.原创 2021-11-10 17:31:37 · 1831 阅读 · 0 评论 -
百度AnyQ之四——使用anyq的方式添加数据试验
1. 加入自己的测试数据(手动一条一条加)1.1 常用容器操作常用到的进入容器命令行和开启服务的命令# 开启dockerdocker container exec -it anyq-faq /bin/bash# 切换到服务脚本目录cd /home/AnyQ-master/build/ && ./run_server# 浏览器输入http://XXXX:8886/anyq?question=使用什么账号?# solr查看,浏览器输入:http://XXX:8900/solr原创 2021-11-10 16:03:46 · 1241 阅读 · 0 评论 -
百度AnyQ之三—anyq系统框架和功能
基本介绍官方介绍AnyQ系统框架主要由Question Analysis、Retrieval、Matching、Re-Rank等部分组成(上图绿色圆角矩形Question开始,一直走到绿色圆角矩形Answer结束)。其他两部分:一个是SimNet语义匹配框架的训练过程,一个是问答数据集的索引(倒排索引:基于开源倒排索引Solr,加入百度开源分词;语义检索:基于SimNet语义表示,使用ANNOY进行ANN检索)运行结果反推在完整的一次问答的响应的log输出中,可以看到开始就是加载一些原创 2021-10-26 14:36:14 · 1177 阅读 · 5 评论 -
百度AnyQ之二—基本使用和测试配置镜像结果
1 基础使用继续跟着这个走:小白编译AnyQ-docker&linux[CentOs]——AnyQ系列之一容器创建时使用的命令是:docker run -itd --name centos-anyq -p 0.0.0.0:8888:8999 centos:centos7 # 这句话其实有问题,把容器放到后台执行了docker exec -it centos-anyq /bin/bash# 把容器放回到前台demo查看# 获取anyq定制solr,anyq示例配置cp ..原创 2021-10-20 16:48:40 · 1194 阅读 · 3 评论 -
百度AnyQ之一——基于docker进行安装
1. 前置内容1.1 风险警告写在前面——前置风险:这个库并不像PaddleOCR那个库那么流行,维护更新那么及时。这个库——github-AnyQ,最近一次更新时间是2020.11.28。(这个库第一次提交是2018年7月2号,也有可能是因为经过两年的完善,没有更多人试出更多错误。。。)另外根据网上很多安装教程,最好使用docker安装,而且可能会由于gcc等的版本问题,安装失败,还可能会由于网络原因失败。另外,AnyQ这个库的迭代更新并不与PaddlePaddle一致,所以下载安装包的时候最原创 2021-10-19 11:10:20 · 1830 阅读 · 6 评论