Linux centos solr8.11.2下载与安装配置建立索引(全量、增量更新)全套图解版

置顶 已于 2022-12-07 15:02:38 修改
阅读量2.3k 收藏 8
点赞数 2
文章标签： solr lucene 全文检索
于 2022-12-07 14:53:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cshongye/article/details/126600325
版权

目录

1.文档说明

2.下载准备2.1.Solr下载地址

2.2.ik-analyzer下载地址

3.安装配置3.1.前提准备

3.2.启动服务

 3.3.停止服务

3.4.安全访问

3.5.Add Core

3.6.配置中文分词器

3.7.与MYSQL表建立索引（准备条件）

3.8.与MYSQL表建立索引（全量更新）

3.9.与MYSQL表建立索引（增量更新）

3.10.Solr建立索引3.10.1.建立索引

 3.10.2.刷新状态

 3.10.3.文档数量

 3.11.查询验证

3.12.Solr定时任务建立索引3.12.1.获取验证令牌

 3.12.2.配置定时任务

1.文档说明

此文档说明在Linux Centos7.5版本下安装solr8.11.2的过程、安全访问、配置core、配置中文分词、建立与MYSQL指定表的全量索引和增量索引方式、查询数据验证、定时调度索引等。

安装环境当前版本

[root@VM-0-17-centos ~]# cat /etc/redhat-release
CentOS Linux release 7.5.1804 (Core)
[root@VM-0-17-centos ~]# cat /proc/version
Linux version 3.10.0-1127.19.1.el7.x86_64 (mockbuild@kbuilder.bsys.centos.org) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC) ) #1 SMP Tue Aug 25 17:23:54 UTC 2020

2.下载准备
2.1.Solr下载地址

solr下载官方首页：Solr Downloads - Apache Solr

目前最新版本是9.0的，9.0对JDK的版本要求比较高，基于目前服务器相关应用所以选择了8.11.2版本的下载。

8.11.2版本下载地址如下：https://dlcdn.apache.org/lucene/solr/8.11.2/solr-8.11.2.tgz

2.2.ik-analyzer下载地址

ik-analyzer下载（中文分词需用到），可参考地址：

Central Repository: com/github/magese/ik-analyzer

选择了8.3.1版本下载：

https://repo1.maven.org/maven2/com/github/magese/ik-analyzer/8.3.1/ik-analyzer-8.3.1-javadoc.jar

3.安装配置
3.1.前提准备

安装好JDK1.8并设置好JAVA_HOME环境变量，JDK的安装步骤不在这里描述。

3.2.启动服务

tar xvf solr-8.11.2.tgz
进入bin目录：/solr-8.11.2/bin
./solr start -p 8983 -force

浏览器访问以下地址可查看solr服务界面

http://localhost:8983/

若是购买的云服务器，需要开通安全组端口8983的访问权限或者主机防火墙端口，若是装了宝塔面板的也需要在宝塔中开放此端口。

 3.3.停止服务

进入bin目录：/solr-8.11.2/bin

./solr stop

3.4.安全访问

在目录/solr-8.11.2/server/etc下面新增文件user.properties

vi user.properties

cshongye:12345678,admin

其中cshongye为登录名（自行调整），12345678为密码（自行调整），admin是登录角色；也是可以参考此格式配置多行，多行也就意味着可以配置多个登录用户访问solr服务；

找到目录：/solr-8.11.2/server/contexts，编辑文件solr-jetty-context.xml

增加以下内容：

  <!--添加配置权限认证  开始-->
  <Get name="securityHandler">
    <Set name="loginService">
      <New class="org.eclipse.jetty.security.HashLoginService">
       <Set name="name">verify—name</Set>
      <Set name="config"><SystemProperty name="jetty.home" default="."/>/etc/user.properties</Set>
      </New>
    </Set>
  </Get>
  <!--添加配置权限认证  结束-->

找到目录：/solr-8.11.2/server/solr-webapp/webapp/WEB-INF编辑文件web.xml，添加以下内容： 

 <security-constraint>
    <web-resource-collection>
      <web-resource-name>Solr</web-resource-name>
      <url-pattern>/</url-pattern>
    </web-resource-collection>
    <auth-constraint>
      <role-name>admin</role-name>
    </auth-constraint>
  </security-constraint>
  <login-config>
    <auth-method>BASIC</auth-method>
    <realm-name>verify-name</realm-name>
  </login-config>

经过以上配置操作后，重启服务后访问系统需用户名和密码方可进入solr服务。

3.5.Add Core

点击按钮Add Core会报错，缺少XML文件的配置，这个时候需要复制

/solr-8.11.2/server/solr/configsets/_default/conf下面所有的文件到目录：/solr-8.11.2/server/solr/new_core

复制过来后，将managed-schema文件重命名为schema.xml

然后刷新页面Core Admin

3.6.配置中文分词器

可参考链接：solr 使用IK分词器_鸭梨的药丸哥的博客-CSDN博客_solr配置ik分词器

也可以参考章节“单机版solr”进行安装：

cc/ik-analyzer-solr

其中第2点的5个文件在这个位置可以下载：

cc/ik-analyzer-solr - Gitee.com

将这5个文件上传至目录：/solr-8.11.2/server/solr-webapp/webapp/WEB-INF/classes

其中第3点，在目录/solr-8.11.2/server/solr/new_core/conf编辑文件managed-schema

验证中文分词：

3.7.与MYSQL表建立索引（准备条件）

CREATE TABLE `rss_item` (
  `id` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '主键',
  `title` varchar(200) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '标题',
  `link` varchar(500) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '网址',
  `author` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '作者',
  `keyword` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '关键字',
  `pudate` datetime DEFAULT NULL COMMENT '发布日期',
  `description` text CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci COMMENT '摘要',
  `del` int DEFAULT '0' COMMENT '是否删除 正常0、删除1',
  `createId` varchar(10) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '创建人',
  `create_by` varchar(10) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '创建人姓名',
  `create_date` datetime DEFAULT NULL COMMENT '创建时间',
  `updateId` varchar(10) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '更新人',
  `update_by` varchar(10) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '更新人名称',
  `update_date` datetime DEFAULT NULL COMMENT '更新时间',
  UNIQUE KEY `rss_item_id_IDX` (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci

3.8.与MYSQL表建立索引（全量更新）

<?xml version="1.0" encoding="UTF-8" ?>
<dataConfig>
    <!-- 数据库信息 -->
    <dataSource type="JdbcDataSource" 
        driver="com.mysql.jdbc.Driver" 
        url="jdbc:mysql://localhost:3308/dbname?characterEncoding=utf-8" 
        user="your username" password="your self password" encoding="UTF-8"/>
    <document>
         <entity name="rss_item" pk="id" 
		 query="select * from rss_item where del = 0"
		 >
            <!-- 对应数据库表的字段 -->
            <field column="id" name="id" />
            <field column="title" name="title" />
			<field column="link" name="link" />
			<field column="author" name="author" />
			<field column="keyword" name="keyword" />
			<field column="pubdate" name="pubdate" />
			<field column="create_date" name="create_date" />
			<field column="create_date" name="create_date" />
            <field column="description" name="description" />
        </entity>
    </document>
</dataConfig>

3.9.与MYSQL表建立索引（增量更新）

<?xml version="1.0" encoding="UTF-8" ?>
<dataConfig>
    <!-- 数据库信息 -->
    <dataSource type="JdbcDataSource" 
        driver="com.mysql.jdbc.Driver" 
        url="jdbc:mysql://localhost:3308/dbname?characterEncoding=utf-8" 
        user="your username" password="your self password" encoding="UTF-8"/>
    <document>
         <entity name="rss_item" pk="id" 
		 query="select * from rss_item where del = 0"
		 deltaImportQuery="select * from rss_item where id='${dih.delta.id}'"
		 deltaQuery="select id from rss_item where create_date > '${dataimporter.last_index_time}' and del=0"
		 deletedPkQuery="select id from rss_item where del=1"
		 >
            <!-- 对应数据库表的字段 -->
            <field column="id" name="id" />
            <field column="title" name="title" />
			<field column="link" name="link" />
			<field column="author" name="author" />
			<field column="keyword" name="keyword" />
			<field column="pubdate" name="pubdate" />
			<field column="create_date" name="create_date" />
			<field column="create_date" name="create_date" />
            <field column="description" name="description" />
        </entity>
    </document>
</dataConfig>

3.10.Solr建立索引
3.10.1.建立索引

 3.10.2.刷新状态

 3.10.3.文档数量

 3.11.查询验证

以上我们建立了索引文档，那我们来验证查询，也想看看索引的数据长什么样子的。

关于query里面的各个参数的使用可以参考：

https://blog.csdn.net/sun5769675/article/details/50718874

3.12.Solr定时任务建立索引
3.12.1.获取验证令牌

​​​​​​​

 3.12.2.配置定时任务

参照linux  curl命令

curl -H 'Authorization: Basic your token' -X GET http://localhost:8983/solr/new_core/dataimport?command=full-import&clean=true&commit=true&wt=json&indent=true&entity=rss_item&verbose=false&optimize=false&debug=false

可配置到自己的crontab中，或者配置到其他任务调度工具或者宝塔面板的计划任务，以下是宝塔面板计划任务的截图：

这是个假程序员
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
windows 安装solr8.11.2
zhidongxv的博客
07-05 1824
windows 安装solr8.11.2，并导入数据
已编译版本solr-8.11.2.tgz
08-26
Solr 8.11.2是8.x系列的最后一个版本，新版本已经是9.0版本了。 1，什么是solr? Solr是一个独立的企业级搜索应用服务器，他对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务提供一定格式的xml文件，生成索引；也可以通过http get 操作提供查找请求，并得到xml格式的返回结果 2.，solr特点 Solr是一个高性能，采用java语言，基于Lucene开发的全文搜索服务器。并对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置，可扩展并对查询性能进行了优化，提供了一个完善的功能管理页面，是一款非常优秀的全文搜索引擎。 3，solr工作方式 文档通过http利用xml加到一个搜索集合中。solr查询该集合也是通过http收到一个xml/json响应来实现。他的主要特性包括：高效，灵活的缓存功能，垂直搜索功能，高亮下试搜索结果，通过索引复制来提高可用性，提供一套强大的data schema 来定义字段，类型和设置文本分析，提供基于web的管理界面等。
【Elasticsearch】IK分词器的下载及使用
最新发布
qq_73639699的博客
05-31 1581
安装IK分词器
1.Apache Solr介绍、下载及其安装
相互学习 共同进步
05-21 1395
Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-Service的API接口 Solr具有高度的可靠性、可伸缩性和容错能力。提供分布式索引、复制和负载均衡查询、自动故障转移和恢复、集中式配置等。Solr为许多世界上的互联网站点提供搜索和导航功能
Solr安装，配置
weixin_44603464的博客
07-27 1059
不同的是，Core 中存放的是各种文档，且这些文档不需要具有相同的 Field。因此，在正式使用 Solr 之前，必须先创建 Core。默认启动的 Solr 不需要用户名，密码，任何人都可直接访问。（关系型数据库管理系统）的表，Solr Core 同样具有支持唯一标识的主键，也需要定义多个 Field。：用于指定Solr实例的端口，如果不指定该选项，该命令将自动使用它搜索得到的第一个Solr实例的端口。目录，该目录下的配置文件可作为产品级的Core来使用，因此推荐使用该目录作为Core配置文件的目录。
solr 安装和使用
悟世君子的博客
12-24 4428
solr中域名和域的类型，等同于mysql中表字段和表字段类型上面有Book实体类，有字段name、author、introduce；需要在solr中定义对应的域，以及对应的分词器这里笔者对introduce字段进行中文分词，使用上面配置的中文分词器 text_ik需要在solr_book实例下面的managed-schema文件中添加域的配置下面笔者使用 Linux 搭建的 solr 进行操作编辑 managed-schema 文件在managed-schema文件末尾添加域的配置。
solr的下载与使用
AuCkyOu的博客
07-12 1684
一、solr的介绍 Solr是一个高性能，采用Java开发，Solr基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。 二、配置 1、下载solr.zip 官方网站：http://lucene.apache.org/solr/ 上图为下载solr后对应的目录，打开命令行窗口可启动solr，启动分为两种，一种...
CentOS 7 2009版镜像文件，内附下载安装全套教程
06-09
CentOS 7 2009版镜像文件，内附下载安装全套教程 CentOS 7是CentOS项目发布的开源类服务器操作系统，于2014年7月7日正式发布。 [1] CentOS 7是一个企业级的Linux发行版本，它源于RedHat免费公开的源代码进行再发行...
Linux CentOS 7.0中java安装与配置环境变量的步骤详解
01-10
CentOS7.0虽然自带JDK1.7和1.8，运行“java -version”命令也可以看到版本信息，但是jdk的安装环境不全，比如缺少tool.jar和dt.jar等，这就导致“javac”等这样的命令即便配置了环境变量也不能用，所以要重新安装jdk...
Linux Centos7下载安装教程与VM15下载安装教程
01-09
Linux Centos7官方下载地址 Linux : CentOS-7-x86_64-DVD 官方下载地址：http://isoredirect.centos.org/centos/7/isos/x86_64/ 安装Linux Centos7 按照下面两个步骤： 创建空的虚拟机。 指定Centos7安装包路径，...
Linux（CentOS）环境下安装下载Nginx并配置
01-10
选首先安装这几个软件：GCC，PCRE（Perl Compatible Regular Expression），zlib，OpenSSL。 Nginx是C写的，需要用GCC编译；Nginx的Rewrite和HTTP模块会用到PCRE；Nginx中的Gzip用到zlib； 用命令“# gcc”，查看...
Solr的下载与安装
guYue_0106的博客
12-15 566
Solr 简介： Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。   Solr 特点： Solr是一个高性能，采用Java5开发，基于Lucene（可实现倒排索引的功能）的全文搜索服务器。同时对...
solr安装
2301_76154806的博客
04-02 616
solr基于java, solr 8 以上的版本 需要java8的支持。
solr8.2.0安装,solr最新版安装(二)
老王的博客
08-05 907
创建solr实例索引库 1. 找到解压解压好的solr-8.2.0\server\solr\configsets\sample_techproducts_configs\conf目录 把这些文件全部copy到solrhome文件夹中创建的solr实例conf文件夹下面 这里的solrcore就是我的solr实例 conf所有配置文件所在地...
solr配置安全验证
sulei627719296的博客
08-23 708
由于启动后默认是不用登入即可访问 Solr 管理界面，这样暴露了Solr核心库，易引起他人删除索引库数据，故配置登入权限才可访问 Solr 管理界面，步骤如下。
solr增量导入mysql数据到solr更新索引
sulei627719296的博客
08-23 114
示例流程：首先全量导入1-7条记录，然后增量导入8-9条记录，用来模拟将来实际环境中的增量更新数据到solr，而且在实际使用过程中我们绝大部分需求会使用增量更新来减轻各方面的压力。3、/solr-8.0.0/server/solr/demo_core/conf/managed-schema更新字段的映射以及分词配置，重点是更新【updateTime】：1-7条是全量从mysql导入到solr中的，然后mysql新增8-9条数据，solr再使用delta-import增量导入8-9条数据。
solr8学习进阶（一）MySql整合
谢小鱼的博客
11-04 920
四、从MySQL数据库中导入数据 https://www.cnblogs.com/ITDreamer/p/10662016.html https://www.cnblogs.com/david1216/p/11479495.html 导入依赖包 配置mysql连接 编写实体、导入数据 报错：org.apache.solr.common.SolrException: [doc=15378] miss...
全文检索 -- Solr服务器实现站内搜索（一） -- Solr-8.7.0新版本安装配置
JakeYangChina的博客
11-13 588
转载请注明出处：https://blog.csdn.net/JakeYangChina/article/details/104593667 前言 最近刚完成电商项目后台开发，对于商品的站内搜索采用的是最新版Solr（8.7.0），服务器采用的是apache-tomcat-9.0.17，因为是首次接触Solr遇到了许多坑，特此记录下来方便大家使用，从网上搜索到文章基本上是低版本配置，和新版本有很大区别，如果你的版本是低于8.0.0版本，那么你可以不用往下阅读了，https://blog.csdn.net/
CentOS8最小化安装与配置指南
"本文档是关于如何使用HuaLinux1.2在CentOS8上进行最小化安装的教程，适合从零开始自学Linux运维的人群。文档详细介绍了从创建虚拟机到配置CentOS8，再到安装基础软件和进行安全设置的全过程。" 在本教程中，作者...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值