Solr：配置从mysql同步数据

配置Apache Solr从MySQL数据库同步数据通常涉及到以下几个主要步骤：

准备工作

1. 确保Solr与MySQL连接

   • 确保Solr服务器能够访问MySQL服务器，如有必要，配置防火墙规则以允许通信。
   • 准备MySQL数据库的连接信息，包括主机名、端口、用户名、密码以及要同步的数据库名和表名。

2. 安装所需依赖

   • 将MySQL JDBC驱动（如 mysql-connector-java.jar）复制到Solr的lib目录下，以便Solr能够连接到MySQL数据库。

配置Solr Data Import Handler (DIH)

Data Import Handler (DIH) 是Solr用来从外部数据源（如MySQL）导入数据的组件。以下是配置DIH的主要步骤：

1. 创建或选择Solr核心

如果您还没有创建Solr核心，需要先创建一个。确保核心的schema与MySQL数据表结构相匹配，或者包含足够的字段来接收从MySQL同步过来的数据。

2. 配置solrconfig.xml

在Solr核心的conf目录下编辑solrconfig.xml文件，添加或修改Data Import Handler相关配置：

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
  <lst name="defaults">
    <str name="config">data-config.xml</str>
  </lst>
</requestHandler>

这段配置定义了一个名为/dataimport的请求处理器，它指向一个名为data-config.xml的配置文件，该文件将定义数据导入的具体细节。

3. 创建或编辑data-config.xml

在核心的conf目录下创建或编辑data-config.xml文件，配置MySQL数据源和导入规则：

<dataConfig>
  <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://mysql_host:mysql_port/database_name" user="username" password="password"/>

  <document>
    <entity name="table_name" query="SELECT * FROM your_table">
      <field column="column_name" name="solr_field_name" />
      <!-- Add more field mappings as needed -->
    </entity>
  </document>
</dataConfig>

在这个文件中：

• dataSource 部分配置了连接MySQL数据库的详细信息。
• entity 定义了要同步的数据表，通过 query 属性指定SQL查询语句。
• field 标签映射了MySQL表中的列到Solr核心的字段。确保Solr字段名称与managed-schema中的定义相符。

4. （可选）配置增量导入

如果您希望实现增量数据同步，可以在data-config.xml中使用deltaQuery和lastUpdatedField属性来实现：

<entity name="table_name" query="SELECT * FROM your_table"
         deltaQuery="SELECT id FROM your_table WHERE last_modified > '${dataimporter.last_index_time}'"
         lastUpdatedField="last_modified">
  <!-- field mappings... -->
</entity>

这里：

• deltaQuery 指定了用于找出自上次导入以来发生变化的数据记录的SQL查询。
• lastUpdatedField 指定了MySQL表中用于记录最后更新时间的字段名。

执行数据同步

配置完成后，可以通过Solr Admin UI或发送HTTP请求来触发数据同步：

通过Solr Admin UI：

1. 打开Solr Admin界面，导航到相应核心的Data Import页面（通常在Core Admin -> Core Name -> Data Import）。
2. 点击Execute按钮，可以选择Full Import进行全量同步，或选择Delta Import进行增量同步（如果已配置）。

通过HTTP请求：

curl 'http://solr_server:8983/solr/core_name/dataimport?command=full-import&commit=true'

或者

curl 'http://solr_server:8983/solr/core_name/dataimport?command=delta-import&commit=true'

定期同步与监控

要实现自动定期同步，可以结合定时任务（如Linux的cron作业）来定期发送上述HTTP请求。同时，关注Solr和MySQL的日志，以及Solr Admin UI中的Data Import页面，以监控数据同步过程和处理任何可能出现的问题。

以上就是配置Solr从MySQL同步数据的基本步骤。实际应用中可能需要根据具体业务需求和数据结构进行适当的调整。务必确保Solr与MySQL的时间同步，以避免因时间差异导致增量同步失败。如果遇到问题，查阅Solr和MySQL的官方文档以及相关的社区资源可以获得更详细的指导。