使用Shell定时任务，向Solr增量写入数据

最新推荐文章于 2021-04-25 15:37:13 发布
最新推荐文章于 2021-04-25 15:37:13 发布
阅读量1.5k 收藏 1
点赞数
分类专栏： Solr 文章标签： shell solr DIH
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Veechange/article/details/51859033
版权
本文介绍了如何利用Shell脚本配合Solr的数据导入处理（DIH）功能，实现定时从源数据中增量获取并写入到Solr索引，确保索引的实时性。
摘要由CSDN通过智能技术生成

1、编写Shell脚本：

#!/bin/bash
# 执行solr/userinfo的增量导入
curl 'http://localhost:8983/solr/userinfo/dataimport?command=delta-import&clean=false'
echo 'solr-core:userinfo delta-import success.'

2、为脚本添加可执行权限： 

chmod +x solr-userinfo-deltaimport.sh


3、编写定时任务：

通过cron在系统后台定期执行刚刚创建的脚本，执行以下命令，编辑crontab文件。

sudo gedit /etc/cr
最低0.47元/天 解锁文章
初级以上
关注
专栏目录
数据采集效率低，采集精度差，可能存在信息重复或漏采——如何收集大量高质量、及时更新的数据？
程序员光剑
08-08 1819
许多初创企业和中小型公司迫切需要快速开发自己的产品和服务。但是，他们面临着巨大的挑战——如何收集大量高质量、及时更新的数据。而数据的采集又是一个比较麻烦的问题。在快速发展的互联网时代，对于数据的采集需求一直是越来越突出。然而，随着社交媒体的兴起，传统的面对面的采集方式已无法满足互联网发展的需求。因此，出现了大数据时代。在大数据时代里，人们越来越注重数据的分析和挖掘能力，而数据的采集的需求也变得越来越高。此外，一些大数据分析工具还提供了一些简单的自动化方法，可以帮助用户更加有效地收集数据。
数仓：数据同步之道、数据接入技术栈、ETL加载策略
.
04-16 2009
☞ETL同步之道 [ Sqoop、DataX、Kettle、Canal、StreamSets ] ☞ETL之技术栈 [ 重工具 vs 开发语言 ] ☞ETL加载策略 [ Merge、Delta、拉链 ] ETL工具或类ETL的数据集成同步工具或语言，企业生产中工具也非常之多，主流的etl工具有Sqoop、DataX、Canal、flume、Logstash、kettle、DataStage、Informatica、Talend等，语言有强悍的SQL、Shel...
Solr 读写（Java SolrJ）
TO BE SMART
05-18 1296
package solr_project;import java.io.IOException; import java.util.ArrayList; import java.util.Collection;import org.apache.solr.client.solrj.SolrServer; import org.apache.solr.client.solrj.SolrServerEx
定时清理solr数据 shell脚本实现
AlphaTao的博客
02-26 840
原因 solr 可以用来存储大量的数据，方便检索，但由于容量问题需要定期清理solr中的老数据（比如只保留最近一周的数据） solr有很多清除数据的方法 参见：https://blog.csdn.net/lbf5210/article/details/51207043 因为可以说每天都要清理所以每次都登陆web页面很麻烦，这里将使用第三种curl方法清理。 此外需要了解一下ubuntu下定时任务...
CVE-2019-0193 Apache Solr 远程命令执行反弹shell
三天不打上房揭瓦的博客
02-26 1274
目录漏洞描述影响版本漏洞复现环境搭建反弹shell防御方法 漏洞描述 Apache Solr是一个开源的搜索服务器。Solr使用Java语言开发，该漏洞产生的主要原因是因为apache dataimporthandler数据外部收集的一个端口模块，该模块支持从远程的地址进行通信，并多数据进行收集，正因为开放了远程地址，可导致攻击者构造恶意的代码对DIH进行脚本注入，从而让后端服务器对恶意代码进行了执行，该漏洞可导致服务器被攻击 影响版本 Apache Solr < 8.2.0 漏洞复现 环境搭建
shell脚本：实现文件覆盖写入、文件内容追加写入
热门推荐
草巾冒小子的博客
04-25 2万+
文章目录shell脚本：实现文件覆盖写入、文件内容追加写入实现说明：重要代码：1. 覆盖写文件 “>”2. 追加写文件">>" shell脚本：实现文件覆盖写入、文件内容追加写入 shell脚本实现覆盖写文件和追加写文件 实现说明： 重要代码： 1. 覆盖写文件 “>” date > not_append_file.txt 2. 追加写文件">>" echo "hello" > yes_append_file.txt date >&
shell 备份指定目录下的增量文件
wuxu_nanjing的博客
08-18 2851
其中xxx.xxx.xxx.xxx为IP地址 #!/bin/bash list=`ls /opt/sftp/ `  time=`date "+%Y%m%d%H%M%S"` today=`date "+%Y%m%d"` cfgfile="/root/shell/conf/data_backup.cfg" logfile="/root/shell/logs/data_backup_${to
nifi 读取mysql_使用NIFI增量获取重复记录，(Duplicate records ingesting in incremental fetch using NIFI,)...
weixin_31955465的博客
02-08 1381
使用NIFI增量获取重复记录，(Duplicate records ingesting in incremental fetch using NIFI,)我正在设计一个工作流，以使用NIFI获取增量获取，源和目标数据库都在MySQL中。 处理器是QueryDatabaseTable和spiltAvro和convertAvroToJson以及convertJsonToSQL和PutSQL如下图 qu...
大数据相关开源项目汇总
Null的博客
12-06 2477
调度与管理服务 **Azkaban **是一款基于Java编写的任务调度系统任务调度，来自LinkedIn公司，用于管理他们的Hadoop批处理工作流。Azkaban根据工作的依赖性进行排序，提供友好的Web用户界面来维护和跟踪用户的工作流程。 **YARN **是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，解决了旧MapReduce框架的性...
Docker安装Solr和IK，以及数据导入。
wenfeifang的博客
12-13 2362
本文主要是参考了：      Docker+Solr+IK      JavaEE进阶——Docker安装Solr(单机/集群) 于是写了一些个人心得。 好了言归正传，话不多说，说多了老婆又该说我絮叨，没有重点了。 一：环境需求        1：docker ：可以参考（本人写的Docker安装）        2：mysql 二：在docker 中安装Solr docker下...
Solr6.6.2-solr部署+solr增量,全量(定时)+分词器(拓展词库)+项目代码(查询代码等等)
汝淉的博客
06-01 1702
Solr6.6.2-solr部署+solr增量,全量(定时)+分词器(拓展词库)+项目代码(查询代码等等) 文 / 汝淉
Solr /export 海量数据导出实现
百岁
11-29 2569
    Solr需要流式导出海量数据，导出数据是基于流式的，当服务端match到第一条数据之后就会向客户端flush出数据。     需要导出的列需要将schema中field元素的docvalue设置为true，并且在solrconfig.xml中配置 &lt;requestHandler name="/export" class="solr.SearchHandler"&gt; &l...
solr的定时任务配置
u013299448的博客
12-21 1711
1、下载jar包：solr-dataimportscheduler-1.1.jar http://pan.baidu.com/s/1hsySs2S      2、新建文件：dataimport.properties，文件复制下面的就好，具体配置含义已给出注释：   ################################################# #
Apache Solr远程命令执行漏洞
weixin_44897902的博客
11-03 2888
呜呜呜呜呜大佬们都太猛了，我就晚了半天，基本上所有的站都被大佬们x了个遍…呜呜呜呜呜 但是即便是在这样的情况下，我还是捡了个漏，好了好了，开始了 漏洞名称： Apache Solr远程命令执行漏洞（Apache Solr Velocity模板注入RCE漏洞） 漏洞危害： 远程命令执行，容易被人getshell，使自己的服务器成为别人的肉鸡… 产生原因（攻击前提）： 能够直接访问solr控制台，那么...
solrj的使用，环境准备，工程搭建，索引创建，添加\修改索引，删除索引，查询...
weixin_33943347的博客
03-13 138
1Solrj的使用 1.1什么是solrj Solrj是访问solr服务的java程序客户端。 1.2需求 使用solrj调用solr服务实现对索引库的增删改查操作。 1.3环境准备 l Solr：4.10.3 l Jdk环境：1.7.0_72（solr4.10 不能使用jdk1.7以下） l Ide...
solr导入百万级的数据库内存溢出
BugNull的博客
06-22 2809
在data-config.xml文件标签里添加batchSize="-1"； 如下： url="jdbc:mysql://192.168.0.141:3306/onion"  user="root" password="iycong"/> 然后重启tomcat； 进入solr管理界面dataimport
Solr定时全量更新索引（不使用solr配置方式）
w
02-08 2823
百度了网上solr全量更新，基本都是使用solr配置方式，博客都写的差不多。。。而且特别麻烦，要这个jar包那个jar包。想到定时，其实使用Spring与Quartz的整合实现定时任务调度，定时去调用方法，然后在方法里实现solr的全量更新索引就行，实现起来简单，代码如下： /** * Created by jyx on 2018/2/7. */ @Component public c...
python增量导入oracle数据到solr
最新发布
04-05
要使用Python增量导入Oracle数据到Solr，您需要遵循以下步骤： 1. 安装Solr和Python的相关库（如pysolr）。 2. 编写Python脚本，连接Oracle数据库并执行增量查询，将查询结果转换为Solr文档格式，并使用pysolr库将文档添加到Solr中。 3. 您可以使用定时任务（如cron）来定期运行Python脚本，以便进行增量导入。 下面是一个示例Python脚本，用于从Oracle数据库中查询并导入数据到Solr： ``` import cx_Oracle import pysolr # Oracle数据库连接配置 dsn_tns = cx_Oracle.makedsn('localhost', '1521', 'XE') conn = cx_Oracle.connect(user='username', password='password', dsn=dsn_tns) cursor = conn.cursor() # Solr连接配置 solr = pysolr.Solr('http://localhost:8983/solr/mycore', timeout=10) # 查询增量数据 query = "SELECT * FROM mytable WHERE updated_at > :last_update" last_update = '2021-01-01 00:00:00' # 上次更新时间 cursor.execute(query, last_update=last_update) # 将查询结果转换为Solr文档格式 docs = [] for row in cursor: doc = { 'id': str(row[0]), 'title': row[1], 'content': row[2], 'updated_at': row[3].strftime('%Y-%m-%dT%H:%M:%SZ') } docs.append(doc) # 添加文档到Solr solr.add(docs) # 更新上次更新时间 last_update = datetime.now().strftime('%Y-%m-%d %H:%M:%S') # 关闭Oracle连接和Solr连接 cursor.close() conn.close() solr.commit() solr.close() ``` 此脚本将从Oracle数据库中查询更新时间大于上次更新时间的数据，并将查询结果转换为Solr文档格式。然后，使用pysolr库将文档添加到Solr中，并更新上次更新时间。您可以根据需要调整查询和文档格式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值