Open Semantic Search

最新推荐文章于 2024-05-16 09:55:38 发布
置顶 最新推荐文章于 2024-05-16 09:55:38 发布
阅读量1.5k 收藏 3
点赞数 1
分类专栏： Doc-Server 文章标签： Open Semantic Search 语义搜索服务器 Flower Celery Ubuntu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/daishuaijie/article/details/79377762
版权


摘要

本文介绍企业级文档搜索引擎Open Semantic Search的安装、配置与维护。

功能描述

OSDS是一个全文搜索引擎，支持绝大部分格式类型的文件。除索引文件外，还能完成其它诸如数据分析、OCR识别、语法检查、推测联想等功能，本文主要介绍其索引功能。

Lucene是 Apache 软件基金会的一个开放源代码的全文检索引擎工具包，是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene 的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。

Solr是一个基于Lucene的Java搜索引擎服务器。Solr 提供了层面搜索、命中醒目显示并且支持多种输出格式（包括 XML/XSLT 和 JSON 格式）。它易于安装和配置，而且附带了一个基于 HTTP 的管理界面。Solr已经在众多大型的网站中使用，较为成熟和稳定。Solr 包装并扩展了 Lucene，所以Solr的基本上沿用了Lucene的相关术语。更重要的是，Solr 创建的索引与 Lucene 搜索引擎库完全兼容。通过对Solr 进行适当的配置，某些情况下可能需要进行编码，Solr 可以阅读和使用构建到其他 Lucene 应用程序中的索引。

通过Apache Solr项目建立文件索引，OSDS支持且不限于以下格式

  • doc docx ppt pptx xls xlsx
  • html xml txt csv
  • pdf

 

安装简介

1.       Doc-Server基本信息：

全文索引非常消耗计算资源，索引建立非常耗时，所以，硬件配置尽量高，减少索引建立的时间。

系统平台：

 Ubuntu 16.04.2 LTS(GNU/Linux 4.4.0-62-generic x86_64)

安装软件包：

        

2.       安装

Ubuntu的安装本维护手册未描述，请参照https://www.opensemanticsearch.org/doc/admin/install/search_server安装.系统平台搭建好后上传软件安装包，然后使用指令进行软件安装。服务器的访问请参考章节4 b)，安装指令：

         su -
         dpkg --installopen-semantic-search_17.07.13.deb
 

Tips:如果由于安装失败，使用以下指令进行修复依赖关系。

         apt-get -f install

3.       配置：

1)      创建文件路径

该路径用于存储上传的文档。指令如下：

         mkdir /home/vsftp/Doc-Server
2)      创建软link

在路径/var/www/html/下创建软link将上传文档路径link到网页访问的路径。指令如下：

ln -s /home/vsftp/Doc-Server /var/www/html/Doc-Server
3)      修改配置文件

Open Semantic Search的配置文件主要是/etc/opensemanticsearch/connector-files，对文件进行配置的命令如下：

         vi /etc/opensemanticsearch/connector-files

在配置文件中添加下面两条配置（其中IP为Doc-Server Web界面IP）

config['mappings'] = {"/var/www/html/Doc-Server/":"http://10.140.82.101/Doc-Server/" }
config['facet_path_strip_prefix']= [ "http://10.140.82.101/", "/" ]

 

4)      使用命令创建索引

创建索引需要使用root权限，需要了解到Doc-Server添加索引的方式为增量添加，每次执行命令只增加指定文档中新增的文档。

     su -
     opensemanticsearch-index-dir /var/www/html/Doc-Server
5)      设置定时任务，用于定时添加索引，保持Doc-Server可查询的文档及时更新命令如下：

用于定时添加索引，确保Doc-Server可查询的文档能够及时更新。目前暂定为每3小时添加一次索引。

crontab -e

也可以通过下面命令对文件做monitor

opensemanticsearch-filemonitoring pathname
6)      上传用户创建、设置

使用如下命令创建上传用户uftp：

sudo useradd -d/home/uftp -s /bin/bash uftp

 

配置uftp的相关权限

cp -p /etc/vsftpd.conf/etc/vsftpd.conf.bak

 

设置vsftpd.conf中以下内容：

#listen=YES
anonymous_enable=NO
write_enable=YES
local_umask=022
anon_upload_enable=NO
anon_mkdir_write_enable=NO
xferlog_file=/var/log/vsftpd.log
xferlog_std_format=YES
idle_session_timeout=600
chroot_local_user=YES
chroot_list_file=/etc/vsftpd.chroot_list
userlist_deny=NO
userlist_enable=YES
userlist_file=/etc/allowed_users
seccomp_sandbox=NO
allow_writeable_chroot=YES
cmds_allowed=FEAT,REST,CWD,LIST,MDTM,MKD,NLST,PASS,PASV,PORT,PWD,QUIT,RMD,SIZE,RETR,STOR,TYPE,USER,ACCT,APPE,CDUP,HELP,MODE,NOOP,REIN,STAT,STOU,STRU,SYST
#anon_root=/home/Doc-Server-backup
#local_root=/home/Doc-Server-backup
#anon_upload_enable=yes
#anon_mkdir_write_enable=yes
#anon_other_write_enable=no

 

/etc/vsftpd.chroot_list中添加用户uftp

/etc/allowed_users中添加用户uftp

7)      测试：

         在PC上打开浏览器，可以正常访问http://10.140.82.101/search 可以正常搜索文件。

Tips:目前IE11显示网页排版不正常，其他浏览器均可正常访问。

 

系统维护：

1)      使用软件

SecureCRT、Xshell、winscp等软件。

2)      登录方式

使用ssh2对server进行登录，使用命令行进行维护

使用winscp等软件管理已上传文件。

3)      常用维护指令

查看系统资源使用情况：top

当前Doc-Server的CPU使用率较高，持续高于65%，可能需要增强CPU性能（增加CPU数量）：

 

检查定时任务：crontab -l

执行结果如下截图。

4.       脚本及log

1)      脚本介绍

编写的脚本存放路径为：/homt/tool

build-dir.sh                 创建索引
daily_report.sh         定时日报
diff_list.sh                  比对Doc-Server与Backup-Server文件列表（Backup-Server上部署）
inotify_bak.sh           实时触发
list-file.sh                    获取已上传文件列表
replace_space.sh     替换已上传文件名中的空格
2)      log介绍

生成的log主用路径有

OpenSemanticSearch相关在/var/log/opensemanticsearch/

         daily_report_201711.log 日报
         list-files/                                         已上传文件列表
         build-dir.sh.20171123.log         创建index的log
         rsync.log                                       自动同步的log

        

网页访问相关在/var/log/apache2/

2017_11_23_access_log     网页访问记录
2017_11_23_error_log             网页error记录

 

创建索引监控：

Open-semantic-search新版本（18及以上）在创建索引的时候使用了队列，管理队列的软件是Celery. 我们可以通过软件rabbitmq-server来监测队列的进行情况，并且可以通过软件flower显示出图形界面。

1.        安装

rabbitmq-server为自带软件

celery命令无法直接使用需要安装python-celery-common

root@OpenSemanticSearch:~# apt install python-celery-common

flower需要安装

root@OpenSemanticSearch:~#pip install flower

2.        使用

rabbitmq-server的使用

root@OpenSemanticSearch:~# rabbitmqctl list_queues namemessages messages_ready
Listing queues ...
celery  17448   17320
celery@OpenSemanticSearch.celery.pidbox 0       0
celeryev.f45630cb-6e96-44eb-b5f1-976a65207593   0      0
root@OpenSemanticSearch:~#

        

         flower的使用：

root@OpenSemanticSearch:~# celery -A celery flower
[I 180222 16:49:34 command:139] Visit me athttp://localhost:5555
[I 180222 16:49:34 command:144] Broker:amqp://guest:**@localhost:5672//
[I 180222 16:49:34 command:147] Registered tasks: 
   ['celery.backend_cleanup',
     'celery.chain',
     'celery.chord',
    'celery.chord_unlock',
     'celery.chunks',
     'celery.group',
     'celery.map',
    'celery.starmap']
[I 180222 16:49:34 mixins:231] Connected toamqp://guest:**@127.0.0.1:5672//
[E 180222 16:49:45 broker:82] RabbitMQ management API callfailed: [Errno 111] Connection refused
[E 180222 16:51:19 broker:82] RabbitMQ management API callfailed: [Errno 111] Connection refused
[E 180222 16:51:33 broker:82] RabbitMQ management API callfailed: [Errno 111] Connection refused
 

执行上述命令后，在网页中打开以下网页，可以监测index创建统计。

http://192.168.1.230:5555


如果需要删除已开始创建的索引的队列可以使用命令;

root@OpenSemanticSearch:~# celery-A celery purge
WARNING: This will remove all tasks from queue: celery.
         There is noundo for this operation!
 
(to skip this prompt use the -f option)
 
Are you sure you want to delete all tasks (yes/NO)? yes
No messages purged from 1 queue
root@OpenSemanticSearch:~# rabbitmqctllist_queues name messages
Listing queues ...
celery  113
celery@OpenSemanticSearch.celery.pidbox 0
celeryev.f45630cb-6e96-44eb-b5f1-976a65207593   0
celeryev.fd66aa58-7197-4e2b-b108-96706f43c32f   0
root@OpenSemanticSearch:~#

 

查看索引状态：

root@OpenSemanticSearch:~# celery -A celery events
村东边的小水坑
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
open-semantic-search:开源研究工具，可通过语义搜索引擎和开源文本挖掘与文本分析平台搜索，浏览，分析和探索大型文档集合（集成了用于文档处理的ETL，用于图像和PDF的OCR，为人员，组织和位置指定名称的实体识别，通过词库和本体进行元数据管理，用于全文搜索的搜索用户界面和搜索应用，多面搜索和知识图）
05-08
开放式语义搜索 集成搜索服务器，用于文档处理的ETL框架（抓取，文本提取，文本分析，命名实体识别和用于PDF中的图像和嵌入式图像的OCR），搜索用户界面，文本挖掘，文本分析以及用于全文搜索，多面搜索的搜索应用程序，探索性搜索和知识图搜索 建造 如何构建用于在Debian或Ubuntu服务器上安装的deb软件包或用于在Docker容器中运行的docker映像： 构建deb包 要为Debian或Ubuntu构建一个deb软件包，请以root用户身份调用构建脚本“ build-deb”（通过su或sudo su更改用户）： ./build-deb 构建Docker映像 克隆存储库，包括依赖项： git clone --recurse-submodules --remote-submodules https://github.com/opensemanticsearch/open-seman
OpenSearch最新功能介绍
xt1233的博客
10-29 727
**摘要：**阿里云开放搜索（OpenSearch）是一款结构化数据搜索托管服务，其能够提供简单、高效、稳定、低成本和可扩展的搜索解决方案。OpenSearch以平台服务化的形式，将专业搜索技术简单化、低门槛化和低成本化，让搜索引擎技术不再成为客户的业务瓶颈，以低成本实现产品搜索功能并快速迭代。本文将为大家介绍OpenSearch的最新推出的电商查询语义理解和搜索算法平台两个新功能。 本文整理自直...
开源推荐：Open Semantic Search
最新发布
gitblog_00034的博客
05-16 312
开源推荐：Open Semantic Search 项目地址:https://gitcode.com/opensemanticsearch/open-semantic-search 开放语义搜索：智能化数据洞察的利器 Open Semantic Search 是一款集成了搜索引擎、ETL（抽取、转换、加载）框架和多款搜索用户界面的开源项目。它专门设计用于文档处理，包括爬取、文本提取、文本分析、命名...
学习笔记之Lucene
weixin_34203426的博客
10-05 189
http://baike.baidu.com/view/371811.htm?fr=aladdin Apache Lucene（http://lucene.apache.org/） Java 全文搜索框架 Lucene（http://www.oschina.net/p/lucene） Lucene是一套用于全文检索和搜寻的开源程式库，由Apache软件基金会支持和提供。Lucene提供了一个...
Elasticsearch：使用 Transformers 和 Elasticsearch 进行语义搜索
Elastic 中国社区官方博客
06-01 3026
语义/向量搜索是一种强大的技术，可以大大提高搜索结果的准确性和相关性。与传统的基于关键字的搜索方法不同，语义搜索使用单词的含义和上下文来理解查询背后的意图并提供更准确的结果。Elasticsearch 是实现语义搜索最流行的工具之一，它是一种高度可扩展且功能强大的搜索引擎，可用于索引和搜索大量数据。在本文中，我们将探讨语义搜索的基础知识以及如何使用 Elasticsearch 实现它。到本文结束时，你将深入了解语义搜索的工作原理以及在你自己的项目中实现它的实用技能。
open-semantic-search-apps：基于PythonDjango的webapp和Web用户界面，用于搜索，结构（元数据管理，如同义词库，本体，注释和命名实体）和数据导入（ETL，如文本提取，OCR和爬网文件系统或网站）
02-05
打开语义搜索应用 基于Python / Django的Web应用程序和用户界面，用于搜索和元数据管理
open-semantic-search_20.01.17.deb
06-05
open-semantic-search_20.01.17.deb ，官方下载 的安装包，官网下载太慢。
open-semantic-desktop-search:使用开放语义搜索进行桌面搜索的虚拟机
05-30
开放语义桌面搜索 打开语义桌面搜索 (VM) 依赖 Debian 包 Open Semantic Search Server open-semantic-search_xx.xx.xx.deb in src/packages.chroot 虚拟盒子 Virtual Box 来宾添加 ISO Debian 软件包 vmdebootstrap（安装：“apt-get install vmdebootstrap”） 建造 下载/复制 Open Semantic Search Server Debian 包 open-semantic-search_xx.xx.xx.deb 到路径 src/packages.chroot 以root身份运行构建脚本
open-semantic-search-appliance:开放式语义搜索设备（VM）
05-27
开放式语义搜索设备（VM） 打开语义搜索服务器作为Virtual Box的基于Debian的虚拟机依存关系Debian软件包src / packages.chroot中的Open Semantic Search Server open-semantic-search_xx.xx.xx.deb 虚拟盒子Virtual...
open-semantic-etl:基于Python的开源ETL工具，用于文件爬网，文档处理（文本提取，OCR），内容分析（实体提取和命名实体识别）和数据充实（注释）管道以及Solr或Elastic搜索索引和链接数据图数据库的提取器-python source file
03-25
open-semantic-etl:基于Python的开源ETL工具，用于文件爬网，文档处理（文本提取，OCR），内容分析（实体提取和命名实体识别）和数据充实（注释）管道以及Solr或Elastic搜索索引和链接数据图数据库的提取器
Semantic-Search:使用变形金刚等进行语义搜索
03-19
使用Transformers模型和其他模型中的句子嵌入进行语义搜索 使用感知嵌入的简单应用程序可以将文档投影到高维空间中，并使用余弦相似度找到大多数相似度。 目的是演示和比较模型。要进行大规模部署，必须计算并保存文档嵌入，以快速搜索和计算相似性。 第一次加载需要很长时间，因为该应用程序将下载所有模型。除了正在运行的6个模型外，即使在CPU中，推理时间也是可以接受的。 应用 演示文本包含有关每个主题的4个句子：Apple，操作系统，Java和Python。 可能会看到语义搜索很好地仅过滤掉了有关特定查询的文档，即使查询中文档中没有俗套的单词也是如此。 原始BERT的效果不佳（符合预期） 搜索苹果 搜索操作系统 搜索Java 搜索Python 跑步 必须下载和 。 下载文件并将其放在每个相应文件夹的infersent_files中。 python app.py 打开浏览器
open-semantic-entity-search-api：开源REST API，用于命名实体提取，命名实体链接，命名实体歧义消除，推荐和对诸如个人，组织和场所之类的实体进行（半）自动语义标记和文档分析链接数据知识图，例如SKOS词库，RDF本体，数据库或名称列表
02-03
开源REST-API，用于命名实体提取，规范化，对帐，推荐，命名实体消歧和命名实体链接 REST API和Python库，用于搜索，建议，推荐，规范化，对帐，命名实体提取，命名实体链接和命名实体的歧义，例如人员，组织和场所的（半）自动语义标记，文档分析和语义丰富通过链接数据知识图（例如SKOS词库，Wikidata或RDF本体），SQL数据库或电子表格（例如CSV，TSV或Excel表）。 开源和开放标准 通过集成用于结构化数据格式的开放标准（SKOS，RDF，JSON）和REST API（HTTP，REST）和实体链接/消除歧义/和解（Open Refine Reconciliation
solr中文文档.pdf
08-31
少有的solr中文文档,详细说明了SOLR的文件配置，使用。
Python-SemanticSearch使用神经网络对图像和单词进行语义搜索
08-10
Semantic Search：使用神经网络对图像和单词进行语义搜索
semantic search
MICRO BI
03-25 789
Create a Semantic Index When There Is No Full-Text Index Example 1: Create a unique index, full-text index, and semantic index CREATE FULLTEXT CATALOG ft AS DEFAULT GO CREATE UNIQUE INDEX ui_ukJobC
搜索exel中指定值_从零开始构建影视类知识图谱（四）基于ElasticSearch的简单语义搜索...
weixin_34275113的博客
01-04 438
本次我们基于浙江大学在openKG上提供的基于elasticsearch的KBQA实现及示例，我们将其精简并将应用到自己的知识图谱上。目前的精力在知识图谱构建上，等有时间希望能完成一个自己的语义搜索和KBQA…简介elasticsearch 的安装与运行数据准备 数据库到JSON属性同义词扩展建立属性间映射 get_ac_attr.py获取属性值和属性间的映射 get_total_val.py获...
个人智库服务的建立与选型
whstudio123的博客
02-11 830
个人智库服务的建立与选型图书馆系统网盘+NAS系统文档系统聚合检索系统综述类的网站MeiliSearchAmbarOpen Semantic SearchWordPress建站VPS影子机集群Git系统远程代码平台 图书馆系统 centos7 安装Calibre搭建一个家用图书馆： https://blog.csdn.net/xjlincoln/article/details/112179267 树莓派 篇一：电子书阅读的新姿势——用树莓派搭建Calibre电子书Web服务器与frp内网穿透公网访问: ht
Opensearch架构及引擎原理
随心更博
03-22 9451
开放搜索（OpenSearch）是一款结构化数据搜索托管服务。特点：单应用亿级别文档搜索 ，毫秒级别查询延迟 ，万级别QPS数据的导入与查询导入：实时数据进入import子系统的数据导入模块，之后经过格式转换和数据解析进入到结构化存储系统，然后被import子系统的导出模块，经过处理后放入到实时消息系统Swift中，HA3订阅Swift中的数据，拿到数据后在内存构建索引并提供服务。查询：通过查询聚...
OpenSearch自定义分词服务
weixin_33672400的博客
10-30 950
背景 OpenSearch是一个以云服务方式提供给广大开发者使用的搜索引擎平台。在搜索引擎中，分词是最基础但很重要的功能，其效果会直接影响文档的召回。分词歧义会导致引擎无法召回目标文档。例如: 乒乓球拍卖完了 ==> 乒乓球/拍卖/完了 乒乓球拍 ==> 乒乓/球拍 在上面的case中，短语“乒乓球拍”不同的上下文中分词的结果不一...
semantic slam
08-18
Semantic SLAM是基于语义的同时定位与建图技术。它包含两个主要思路：Semantic Mapping和Real Semantic SLAM。 Semantic Mapping是指将语义信息与地图建立关联，以提高地图的语义理解能力。通过在建图过程中引入语义信息，可以更准确地表示环境中的物体和场景。这可以通过使用语义标签对地图上的特征点进行分类，或者将语义对象作为地图的一部分来实现。 Real Semantic SLAM是指在同时定位和建图的过程中，结合语义信息来提高定位和建图的精度和鲁棒性。相对于传统的SLAM技术，Real Semantic SLAM在定位和建图的过程中都考虑了语义信息的影响。这可以通过将语义标签与传感器数据进行关联来实现，例如使用深度学习算法对图像或激光数据进行语义分割，然后将分割结果与SLAM算法进行融合。 值得注意的是，仅实现Semantic Mapping并不等同于实现真正的Semantic SLAM。真正的Semantic SLAM需要在同时定位和建图的过程中使用语义信息来改善定位和建图的性能。 总而言之，Semantic SLAM是一种利用语义信息来提高同时定位和建图技术的方法。它包括Semantic Mapping和Real Semantic SLAM两个主要思路，前者主要关注地图的语义理解能力，后者则是在定位和建图的过程中考虑语义信息的影响。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [从5个经典工作开始看语义SLAM](https://blog.csdn.net/HamiCenby/article/details/104581116)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值