solr两种安装、ik分词器设置、DIH导入mysql数据

最新推荐文章于 2021-01-19 08:51:26 发布
最新推荐文章于 2021-01-19 08:51:26 发布
阅读量247 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Country_Booy/article/details/108610784
版权

文章目录

solr 安装（内置方式）

  1. 安装包

    • 官网下载安装包，官网地址：https://lucene.apache.org/solr/downloads.html

    • 使用命令获取：

      [root@10 ss]# wget https://mirror.bit.edu.cn/apache/lucene/solr/7.7.3/solr-7.7.3.tgz

  2. 解压

    [root@10 solr]# tar xvf solr-7.7.3.tgz

  3. 启动

    [root@10 bin]# pwd
/root/solr/solr-7.7.3/bin
[root@10 bin]# ./solr start -force
*** [WARN] *** Your open file limit is currently 1024.  
 It should be set to 65000 to avoid operational disruption. 
 If you no longer wish to see this warning, set SOLR_ULIMIT_CHECKS to false in your profile or solr.in.sh
*** [WARN] ***  Your Max Processes Limit is currently 7283. 
 It should be set to 65000 to avoid operational disruption. 
 If you no longer wish to see this warning, set SOLR_ULIMIT_CHECKS to false in your profile or solr.in.sh
Waiting up to 180 seconds to see Solr running on port 8983 [\]  
[root@10 bin]#

  4. 浏览器访问

    http://192.168.0.101:8983

  5. 配置solr_core

    • 在/server/solr目录下建立一个文件夹，此处叫laosan_core

    • 复制文件到该目录下

      [root@10 solr]# pwd
/root/solr/solr-7.7.3/server/solr
[root@10 solr]# cp /root/solr/solr-7.7.3/server/solr/configsets/_default/conf -rf laosan_core

    • 修改managed-schema为schema.xml

      [root@10 conf]# pwd
/root/solr/solr-7.7.3/server/solr/laosan_core/conf
[root@10 conf]# ll
总用量 132
drwxr-xr-x. 2 root root  4096 9月  11 22:19 lang
-rw-r--r--. 1 root root 54513 9月  11 22:19 managed-schema
-rw-r--r--. 1 root root   308 9月  11 22:19 params.json
-rw-r--r--. 1 root root   873 9月  11 22:19 protwords.txt
-rw-r--r--. 1 root root 53346 9月  11 22:19 solrconfig.xml
-rw-r--r--. 1 root root   781 9月  11 22:19 stopwords.txt
-rw-r--r--. 1 root root  1124 9月  11 22:19 synonyms.txt
[root@10 conf]# mv managed-schema schema.xml
[root@10 conf]# ll
总用量 132
drwxr-xr-x. 2 root root  4096 9月  11 22:19 lang
-rw-r--r--. 1 root root   308 9月  11 22:19 params.json
-rw-r--r--. 1 root root   873 9月  11 22:19 protwords.txt
-rw-r--r--. 1 root root 54513 9月  11 22:19 schema.xml
-rw-r--r--. 1 root root 53346 9月  11 22:19 solrconfig.xml
-rw-r--r--. 1 root root   781 9月  11 22:19 stopwords.txt
-rw-r--r--. 1 root root  1124 9月  11 22:19 synonyms.txt

  6. 页面Add Core
    在这里插入图片描述
    添加成功后显示
    在这里插入图片描述

solr 安装（tomcat方式）

  1. 解压tomcat

    [root@10 solr]# unzip apache-tomcat-8.0.52-windows-x64.zip 
Archive:  apache-tomcat-8.0.52-windows-x64.zip
   creating: apache-tomcat-8.0.52/

  2. 移动solr中webapp到tomcat中webapp下

    [root@10 solr-webapp]# pwd
/root/solr/solr-7.7.3/server/solr-webapp
[root@10 solr-webapp]# cp -r webapp/ /root/solr/apache-tomcat-8.0.52/webapps

  3. 将应用名改为solr

    [root@10 webapps]# pwd
/root/solr/apache-tomcat-8.0.52/webapps
[root@10 webapps]# mv webapp/ solr
[root@10 webapps]# ll
总用量 12
drwxr-xr-x. 14 root root 4096 4月  28 2018 docs
drwxr-xr-x.  6 root root   78 4月  28 2018 examples
drwxr-xr-x.  5 root root   82 4月  28 2018 host-manager
drwxr-xr-x.  5 root root   97 4月  28 2018 manager
drwxr-xr-x.  3 root root 4096 4月  28 2018 ROOT
drwxr-xr-x.  8 root root 4096 9月  11 22:44 solr

  4. 复制所需依赖jar包

    • 复制ext目录下jar包
    [root@10 lib]# pwd
/root/solr/solr-7.7.3/server/lib
[root@10 lib]# cp ext/* /root/solr/apache-tomcat-8.0.52/webapps/solr/WEB-INF/lib/
cp：是否覆盖"/root/solr/apache-tomcat-8.0.52/webapps/solr/WEB-INF/lib/disruptor-3.4.0.jar"？ y
[root@10 lib]#
    • 复制有metrics-开头的jar包
    [root@10 lib]# cp metrics-* /root/solr/apache-tomcat-8.0.52/webapps/solr/WEB-INF/lib/

  5. 配置solrhome

    • 用于存储Solr Core的数据及配置文件

    • 创建solrhome存储Solr索引文件，创建哪里都可以

      [root@10 lib]# mkdir -p /usr/local/solr/solrhome

    • 复制server/solr目录下所有内容到solrhome

      [root@10 solr]# pwd
/root/solr/solr-7.7.3/server/solr
[root@10 solr]# cp -r * /usr/local/solr/solrhome/

  6. 配置tomcat

    • 修改web.xml，修改solr_home路径指向我们刚刚创建的 solrhome

      [root@10 WEB-INF]# pwd
/root/solr/apache-tomcat-8.0.52/webapps/solr/WEB-INF
[root@10 WEB-INF]# vim web.xml 

      <!-- 修改solrhome路径 -->
<env-entry>
        <env-entry-name>solr/home</env-entry-name>
        <env-entry-value>/usr/local/solr/solrhome</env-entry-value>
        <env-entry-type>java.lang.String</env-entry-type>
</env-entry>

    • 去掉安全认证

        <!-- Get rid of error message 
  <security-constraint>
    <web-resource-collection>
      <web-resource-name>Disable TRACE</web-resource-name>
      <url-pattern>/</url-pattern>
      <http-method>TRACE</http-method>
    </web-resource-collection>
    <auth-constraint/>
  </security-constraint>
  <security-constraint>
    <web-resource-collection>
      <web-resource-name>Enable everything but TRACE</web-resource-name>
      <url-pattern>/</url-pattern>
      <http-method-omission>TRACE</http-method-omission>
    </web-resource-collection>
  </security-constraint>
-->

  7. 修改tomcat中bin目录权限

    [root@10 apache-tomcat-8.0.52]# pwd
/root/solr/apache-tomcat-8.0.52
[root@10 apache-tomcat-8.0.52]# chmod 777 -R bin/

  8. 配置solr_core

    • 在/server/solr目录下建立一个文件夹，此处叫laosan_core

    • 复制文件到该solrhome目录下

      [root@10 solr]# pwd
/usr/local/solr/solrhome
[root@10 solr]# cp /root/solr/solr-7.7.3/server/solr/configsets/_default/conf -rf laosan_core

    • 修改managed-schema为schema.xml

      [root@10 conf]# pwd
/usr/local/solr/solrhome/laosan_core/conf
[root@10 conf]# ll
总用量 132
drwxr-xr-x. 2 root root  4096 9月  11 22:19 lang
-rw-r--r--. 1 root root 54513 9月  11 22:19 managed-schema
-rw-r--r--. 1 root root   308 9月  11 22:19 params.json
-rw-r--r--. 1 root root   873 9月  11 22:19 protwords.txt
-rw-r--r--. 1 root root 53346 9月  11 22:19 solrconfig.xml
-rw-r--r--. 1 root root   781 9月  11 22:19 stopwords.txt
-rw-r--r--. 1 root root  1124 9月  11 22:19 synonyms.txt
[root@10 conf]# mv managed-schema schema.xml
[root@10 conf]# ll
总用量 132
drwxr-xr-x. 2 root root  4096 9月  11 22:19 lang
-rw-r--r--. 1 root root   308 9月  11 22:19 params.json
-rw-r--r--. 1 root root   873 9月  11 22:19 protwords.txt
-rw-r--r--. 1 root root 54513 9月  11 22:19 schema.xml
-rw-r--r--. 1 root root 53346 9月  11 22:19 solrconfig.xml
-rw-r--r--. 1 root root   781 9月  11 22:19 stopwords.txt
-rw-r--r--. 1 root root  1124 9月  11 22:19 synonyms.txt

  9. 启动tomcat后add core

    http://192.168.0.101:8080/solr/index.html#/

在这里插入图片描述

IK中文分词器设置

  1. 下载solr7版本的ik分词器

    • 下载地址：http://search.maven.org/#search%7Cga%7C1%7Ccom.github.magese
    • GitHub源码地址：https://github.com/magese/ik-analyzer-solr7

  2. 将jar包拷贝到tomcat中lib目录下：

    [root@10 lib]# pwd
/root/solr/apache-tomcat-8.0.52/webapps/solr/WEB-INF/lib
[root@10 lib]# rz -E
rz waiting to receive.

  3. 修改managed-schema文件，增加ik分词器

    <!-- ik分词器 -->
<fieldType name="text_ik" class="solr.TextField"> 
  <analyzer type="index"> 
    <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" conf="ik.conf"/>  
    <filter class="solr.LowerCaseFilterFactory"/> 
  </analyzer>  
  <analyzer type="query"> 
    <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/>  
    <filter class="solr.LowerCaseFilterFactory"/> 
  </analyzer> 
</fieldType>

  4. 重启tomcat

  5. 页面测试
    在这里插入图片描述

solr数据操作

使用Solr的DIH将mysql中的数据导入到Solr中

使用dataimport导入数据库数据

  1. 复制3个jar包到tomcat/webapp/solr/WEB-INF/lib/下

    • solr-dataimporthandler-extras-7.7.3.jar
    • solr-dataimporthandler-7.7.3.jar
    • mysql-connector-java-5.1.47.jar

  2. 上传sql脚本到服务器并在机器执行

    • 上传sql脚本到此目录

    • 当前目录进入mysql，执行脚本

      [root@10 mysql]# mysql -u root -p
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 6
Server version: 5.7.28 MySQL Community Server (GPL)
Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> source create_table.sql
Query OK, 0 rows affected (0.00 sec)

  3. solrhome/laosan_core/conf/下创建文件data-config.xml

    [root@10 conf]# pwd
/usr/local/solr/solrhome/laosan_core/conf

    <dataConfig> 
  <!-- 这是mysql的配置 -->  
  <dataSource driver="com.mysql.jdbc.Driver" url="jdbc:mysql://192.168.0.112:3306/laosan" user="root" password="root"/>  
  <document> 
    <!-- query是一条sql，代表在数据库查找出来的数据 -->  
    <entity name="position" query="select * from position"> 
      <!-- 每一个field映射着数据库中列与文档中的域，column是数据库列，name是 solr的域(必须是在managed-schema文件中配置过的域才行) -->  
      <field column="companyName" name="companyName"/>  
      <field column="id" name="id"/>  
      <field column="type" name="type"/>  
      <field column="prolong_offline_time"/> 
    </entity> 
  </document> 
</dataConfig>

  4. 修改solrconfig.xml配置文件增加以下内容（678行）

    [root@10 conf]# pwd
/usr/local/solr/solrhome/laosan_core/conf
[root@10 laosan_core]# vim solrconfig.xml

    <requestHandler name="/dataimport" class="solr.DataImportHandler"> 
  <lst name="defaults"> 
    <str name="config">data-config.xml</str> 
  </lst> 
</requestHandler>

  5. 在managed-schema 配置对应的域（453行）

    [root@10 conf]# pwd
/usr/local/solr/solrhome/laosan_core/conf

    <field name="companyName" type="text_ik" indexed="true" stored="true"/> 
<field name="positionName" type="text_ik" indexed="true" stored="true"/> 
<field name="positionAdvantage" type="text_ik" indexed="true" stored="true"/>
<field name="salary" type="text_ik" indexed="true" stored="true"/>
<field name="workYear" type="text_ik" indexed="true" stored="true"/>

  6. 页面导入数据
    在这里插入图片描述

  7. 查询数据
    在这里插入图片描述

三学加瓦
关注
Solr DIH使用说明
bestwxc的博客
01-06 4752
配置Solr5.3.1，并从数据库中导入数据。
solr6.0+mysql+IK分词集成
06-01
3. **数据导入导出**：Solr6.0支持多种数据导入工具，如DataImportHandler（DIH），它可以连接到各种数据源（如MySQL）并导入数据。 **MySQL** 1. **数据库配置**：设置MySQL服务器，创建用于与Solr交互的数据库和...
solr DIH
觉醒的博客
02-02 230
dfdfd d fdf
按时间增量导入_Solr结构化数据导入DIH
weixin_33291684的博客
01-13 176
Solr结构化数据导入简介Solr支持从关系数据库、基于http的数据源(如RSS和ATOM提要)、电子邮件存储库和结构化XML中索引内容。这里介绍从关系型数据库Mysql导入数据。solr自动帮我们从数据库中导入数据进行索引，支持全量和增量两种方式。怎么配置1.需要在solrconfig.xml配置一个requestHandler，通过发出http请求来触发，这个requestHander称为D...
数据索引---Solr DIH
数据时代--收集，存储，处理，分析，挖掘，检索，展现
11-24 842
Solr DIH就是Data Import Handler.由于很多时候我们的数据在数据库里面，需要将数据库里面的数据导出进行索引.Solr提供了一个很方便的接口来从数据库生成索引。DIH支持从单表和多表管理来导入数据，可以跨数据库来读取数据，还可以增量索引数据，应该说满足很多一般的需求。 以下以solr-5.3.0为例，下面来说说一个简单的从Mysql数据库导入数据的配置，更多复杂的配置，需要
solr同步mysql_solr的DIH操作同步mysql数据
weixin_33370255的博客
01-19 193
1.创建MySQL数据CREATE TABLE `city` (`id` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT '城市编号',`province_id` INT(10) UNSIGNED NOT NULL COMMENT '省份编号',`city_name` VARCHAR(25) NULL DEFAULT NULL COMMENT '城...
Solr-ik分词
04-18
总结一下，Ik分词器是Solr处理中文文本的关键组件，它通过动态词汇表和两种分词模式提供了高效的分词效果。同时，通过MySQL-connector-java驱动，Solr可以与MySQL数据库无缝集成，实现数据的检索和索引。了解并熟练...
solr7.4数据库导入Demo（mysql数据库）
08-31
本Demo将展示如何使用Solr 7.4与MySQL数据库集成，实现数据导入，并结合IK分词器提升中文搜索体验。 首先，你需要下载并安装Solr 7.4.0。解压压缩包`solr-7.4.0`，这是一个包含Solr服务器和配置文件的完整包。在`...
Solr3.6用DIH组件进行MySQL数据库全文索引[归纳].pdf
10-12
接下来，我们将重点关注如何设置DIH以从MySQL导入数据： 1. **配置数据源**：在Solr的`solrconfig.xml`文件中，你需要定义一个数据源，指定连接MySQL的JDBC驱动、URL、用户名和密码。例如： ```xml ...
Solr3.6用DIH组件进行MySQL数据库全文索引[参照].pdf
10-20
在Solr中，DataImportHandler（DIH）组件是一个强大的工具，用于从各种外部数据源，如关系型数据库（如MySQL）中导入数据并建立全文索引。在本例中，我们将探讨如何使用Solr 3.6版本的DIH组件来对MySQL数据库中的...
Solr 学习（3） —-Solr 数据导入 <一>DIH简单使用
03-30
NULL 博文链接：https://martin3000.iteye.com/blog/1328833
Solr中DIH模式的使用
蜗牛的轨迹
02-08 360
Solr中使用DIH（DataImportHandler）模式 最早只是使用全量导入功能，即full-import 网上能搜索到的大部分demo多采用的情况是建立索引，查询，都是在同一个容器内操作，即开启同一个tomcat/jetty等 通过http请求中加入相应的参数即完成了相关操作，如： http://localhost:8080/dataimport?command=full-imp...
Solr4.7以DIH的方式从数据库导数据
ystyaoshengting的专栏
10-12 1583
Solr4.7以DIH的方式从数据库导数据 实际工程应用中，从数据库导出数据创建索引再常见不过了，现在实验一下从数据库导入数据创建索引 一、版本说明 Solr版本：4.7.0 数据库：sqlserver2005 二、配置步骤 1、 准备的jar包 1） solr-dataimporthandler-extras-4.7.0.jar； 在solr发布包solr-4.7.0\dist里
Solr - DIH详解（上卷）
The Secret
01-07 458
  一. 开启DIH功能 1. 找到相应core的solrconfig.xml 2. 添加以下代码： &lt;requestHandler name="/dataimport" class="solr.DataImportHandler"&gt; &lt;lst name="defaults"&gt; &lt;str name="config"&amp
solr中的dih tips
huyangc的专栏
07-04 541
最近在用dih的时候遇到一个莫名其妙的问题。首先前提是这样的，为了方便，我把数据库里的属性全都以相同的名字在solr的schema中定义了相应的fieldname，然后因为有的数据字段后面会有来源信息，然后我就需要使用一个叫做TemplateTransformer的transformer来进行存储格式的变化，增加source字段在该值的后面。在数据库的构建过程中，数据库的构建人员构建了一个基于ba
Solr之DIH配置(数据导入)
MrT的专栏
06-03 888
Solr之DIH配置(数据导入) solr4.7配置（DIH  数据库数据导入配置）       首先，在看数据导入配置之前，我们先看几个目录。               1.在每个core对应的文件夹下面有一个conf文件夹，这个文件夹是核心配置文件夹，今后的工作重心都在这个文件夹下面。其次，date文件夹是solr创建的索引等存放    的文件夹，一般不做修改。      
solr入门以及dih简介
06-28 415
ApacheSolr是一个开源的搜索服务器，本文介绍一些入门的基础知识，本来想直接写solrdih(dataImportHandler)组件的，但发现有些内容还是会涉及到solr的基础知识，因此也一起写了。 Solr的资源下载可以直接去http://lucene.ap...
solr（4）solr7.3.1 使用DIH上传结构化数据
ruyulin的博客
07-22 438
DIH介绍 DIH（Data Import Handler）数据导入处理程序简写，常见的做法大部分应用将数据都是以结构化的方式存储，例如存储在数据库中。DIH其实就是将这些内容导入solr中，方便日后索引使用。同时它还可以导入基于HTTP的数据源（RSS源、ATOM源，电子邮件存储库和结构化XML）。 术语 数据源：数据源定义了感兴趣的数据的位置。对于数据库，它是一个DSN。对于HTT...
Windows下Solr的安装与配置，附DIH全量导入MySQL数据、IK分词器配置详解——不用集成Tomcat
莫离瑜的博客
01-09 615
Solr是Apache开源的比较稳定的一款全文搜索引擎，也是市面上相对比较流行的一款全文搜索引擎，好不好用你用过之后自有判断。今天给大家分享一下它的安装与配置，我用的是7.7.2版本。废话不多说，开搞！ 目录 一、solr简介 二、下载 三、目录介绍 四、启动solr 五、创建core 六、DIH全量导入Mysql数据 1.创建数据导入配置文件 2.编辑dataConfig...
Windows环境下Solr4.1安装配置与IK分词器集成教程
"solr4.1安装配置，包括JDK安装、Tomcat部署、Solr核心设置以及IK分词器的集成" 在本文中，我们将详细介绍如何在Windows 7 64位系统上安装和配置Solr 4.1，同时结合JDK 7和Tomcat 7.0，以及如何添加IK分词器以支持...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值