solr 处理数据库数据索引 DataImportHandler 报内存不足，解决方案

最新推荐文章于 2022-10-31 15:02:34 发布
最新推荐文章于 2022-10-31 15:02:34 发布
阅读量1k 收藏 1
点赞数
分类专栏： solr开发 文章标签： Solr MySQL JDBC QQ Apache
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lijian_nhy/article/details/83648363
版权

       通过数据库，批量建立索引，如果数据量大，则会报内存不足，经过网络搜索，没有找着好的解决办法，在看solr wiki的时候，发现了http://wiki.apache.org/solr/DataImportHandlerFaq这篇说明文档，解决了我的问题，<dataSource type="JdbcDataSource" name="ds-2" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:8889/mysqldatabase" batchSize="-1" user="root" password="root"/>

 

batchSize="-1"设置后就可以通过 增量更新把所有数据添加到数据库。http://localhost:8080/solr/dataimport?command=delta-import

 

 

 

更多交流：垂直qq搜索群：55388905

http://www.lsoba.com

lijian_nhy
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
solr-dataimporthandler.rar
07-09
Solr DataImportHandler (DIH) 是Apache Solr的一个强大特性，它允许用户从各种数据源导入数据到Solr索引。在给定的压缩包"solr-dataimporthandler.rar"中，包含了两个关键的JAR文件："solr-dataimporthandler-8.9.0...
solr-dataimportscheduler-1.4.jar 增量定时同步数据到solr.rar
07-05
这个jar包的核心功能是DataImportHandler（DIH），它是一个内置在Solr中的模块，用于将外部数据源（如关系型数据库）的数据导入到Solr索引中。DIH支持全量导入和增量导入，这使得Solr可以保持与数据库的实时同步，...
使用solr的DIHandler 构建mysql大表全量索引，内存溢出问题的解决方法
09-11 158
solr官方给出的解决方式是： DataImportHandler is designed to stream row one-by-one. It passes a fetch size value (default: 500) to Statement#setFetchSize which some drivers do not honor. For MySQL, add ba...
solr4.8 DataImportHandler 从关系型数据库导入数据
xiatianba的专栏
07-28 216
转载请出自出处：http://eksliang.iteye.com/blog/2097146 1.    概述        大多数的应用程序将数据存储在关系数据库（例如oracle、mysql、sql service等等）。对这样的数据进行搜索是很常见的应用。对于这样的应用如果技术选型是Solr，就需要把数据从关系型数据库导入到solr服务器，为了解决这个问题，Apache提供了Data...
Solr data import handler
near1024的专栏
03-06 934
Index a DB table directly into Solr Step 1 : Edit your solrconfig.xml to add the request handler data-config.xml Step 2 : Create a data-config.xml file as follows and save it to the conf
【技术分享】Solr DataImportHandler组件漏洞
weixin_47208161的博客
08-03 239
编号 CVE-2019-0193漏洞简介DataImportHandler是一个可选但使用广泛的模块，默认不启用，用于从数据库和其他源中提取数据，它有一个特性即整个DIH配置可以来自一个...
Data Import Handler - DIH相关命令
Veechange的博客
06-23 799
许多搜索应用程序的数据一般都以结构化的格式存储，如关系数据库。数据导入处理程序（DIH）提供了一种机制，可将数据存储中的内容导入到solr并建立index。除了关系数据库，DIH还可以导入基于HTTP数据来源的内容，如RSS和ATOM提要，电子邮件存储库和结构化的XML。   DIH命令通过一个HTTP请求将数据发送到Solr。DIH支持以下操作： 命名 描述
二十七、商城 - 搜索解决方案-Solr（15）113.youlexuan.zip
04-08
在本课程中，我们将深入探讨如何使用Solr作为商城搜索解决方案。Solr是Apache软件基金会的一个开源全文搜索引擎，被广泛应用于构建高效的、可扩展的搜索应用。它支持丰富的查询语法，能够提供高度自定义的搜索体验，...
solr定时自动同步数据库需要用到的apache-solr-dataimportscheduler.jar包
08-06
总的来说，这个压缩包提供了一套完整的解决方案，帮助用户实现在Solr 7.7.2中定时从MySQL数据库自动同步数据，并且支持基本的身份验证，确保了数据的安全传输和处理。通过正确配置和使用这个工具，你可以构建一个...
基于solr的网站索引架构（一）
04-16
在本篇博文中，我们将探讨基于Apache Solr构建的网站索引架构，这是搜索引擎技术中的一个关键组件。Solr是一个开源、高性能的全文...通过深入理解和熟练运用Solr，我们可以为网站构建出高性能、可扩展的搜索解决方案。
Solr 8.11入门教程(3)数据库导入数据
donggongai的博客
10-31 528
数据库导入数据 生产环境下我们一般需要从数据库中导入数据。 准备测试数据 建一个solrtest的表 CREATE TABLE `solrtest` (  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键',  `name` varchar(255) DEFAULT NULL COMME
八、关于solr内存不足问题
如风
07-27 7733
因为我出现这个问题是在linux环境下的weblogic服务器上。当时在solr服务器控制台上全量增加索引时总是提示内存溢出，当时查看也确实是内存太小。但是我在网上查阅相关资料并按照修改相关文件，但是仍不起作用。后来在data-config.xml文件中添加上一个参数即可解决，如下图：
solr定时任务dataimport报错解决
新的开始的专栏
12-08 5053
在做solr的dataimport的定时任务时，启动时报了如下的错误，一直搞不明白，最后发现是引的包有问题（apache-solr-dataimportscheduler-1.0.jar） 08-Dec-2016 11:57:06.563 INFO [localhost-startStop-1] org.apache.jasper.servlet.TldScanner.scanJars At l
solr dataimport中遇到的问题
weixin_30894389的博客
09-26 350
1.windows的tomcat是没有catalina.out的，可以通过修改start.bat和catalina.bat的方式让日志输出到catalina.out 2.按照网上搜到的资料配置好solrconfig.xml、schema.xml、data-config.xml等文件后进入导入界面，execute后一直报indexing faied的错误，通过上述办法看到日志后发现没有获得数...
Solr Dataimporthandler示例
纸上得来终觉浅，绝知此事要躬行
02-12 2713
在Dataimporthandler的这个例子中，我们将讨论如何使用Dataimporthandler从数据库导入和索引数据。 我们还将讨论从关系数据库导入数据所需的各种配置。 许多搜索应用将要索引的内容存储在结构化数据存储中，例如关系数据库。 除了数据库，DIH可以用于索引来自RSS和ATOM订阅源，电子邮件存储库和结构化XML的内容。为了演示数据库的导入功能，我们将使用Solr服务器附带的样例hsql数据库。
using a dict on a Series for aggregation is deprecated and will be removed in a future version
春华秋实
08-01 7642
python的pandas中，在统计聚合的时候，版本问题，提示不支持字典格式了。 比如，下面代码这样改就可以了。 words_stat = words_df.groupby(by=['segment'])['segment'].agg({"计数": numpy.size}) 上面代码改成下面代码就可以了。应该是版本问题。 word_stat = word_df...
Error: Passing callbacks to importXML is deprecated and will be removed in a future major release
weixin_44213308的博客
03-24 4155
发现bpmn-js报了一个警告，翻译了一下大概的意思就是就是importXML的回调函数可能会被替代，去官方上发现如下信息： 官方同时给了相应的解决方案： 我们之前的写法： const modeler = new BpmnJS(); modeler.importXML(xml, (err, warnings) => { // ... }); 现在的写法： const modeler = new BpmnJS(); try { const result = await m..
solr4.4 索引mysql数据库数据_利用solr的 DataImportHandler从mysql数据库建立索引
weixin_35129495的博客
02-04 67
步骤1： 首先修改solrconfig.xml 加往上DataImportHandler的配置data-config.xml步骤2：配置solr服务器时一般报这个错org.apache.solr.common.SolrException: RequestHandler init failure或java.lang.ClassNotFoundException: org.apache.solr.ha...
solr连接数据库实现增删改查
最新发布
07-27
Solr是一个开源的搜索平台，它本身并不直接连接数据库来实现增删改查操作，而是依靠数据导入工具来将数据库中的数据同步到Solr索引中。以下是一种常见的使用Solr连接数据库实现增删改查的方法： 1. 增加数据： - 通过数据库连接库（如JDBC）连接到目标数据库。 - 执行SQL查询语句，获取需要导入到Solr的数据。 - 使用Solr的数据导入工具（如DataImportHandler）将数据导入到Solr索引中。 2. 删除数据： - 通过数据库连接库连接到目标数据库。 - 执行SQL删除语句，删除对应的数据库记录。 - 使用Solr的更新请求API，发送删除请求到Solr索引。 3. 修改数据： - 通过数据库连接库连接到目标数据库。 - 执行SQL更新语句，修改对应的数据库记录。 - 使用Solr的更新请求API，发送更新请求到Solr索引。 4. 查询数据： - 使用Solr的查询API，构建查询请求并发送到Solr索引。 - Solr会返回匹配查询条件的结果。 需要注意的是，Solr本身并不会直接与数据库进行实时同步，因此在数据库中进行增删改操作后，需要通过定时任务或其他方式触发数据导入工具将数据同步到Solr索引中，以保证索引与数据库的一致性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值