elasticsearch7.6 + Oracle12 数据同步 logstatsh 无缝衔接一天同步一次

最新推荐文章于 2023-02-15 10:05:21 发布
最新推荐文章于 2023-02-15 10:05:21 发布
阅读量631 收藏 5
点赞数 2
分类专栏： 笔记 文章标签： elasticsearch es
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44605543/article/details/113480164
版权

一：Logstash配置文件

在这里插入图片描述

1.jdbc_orcale.conf

路径：/home/bigdata/install/logstash-7.6.0/bin

input {
jdbc {
    jdbc_driver_library => "/home/bigdata/install/logstash-7.6.0/driver/ojdbc8-19.3.0.0.jar"
    jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
    jdbc_connection_string => "jdbc:oracle:thin:@172.16.2.2:1521:yxyxdb"
    jdbc_user => "yx_data"
    jdbc_password => "sfyd"
    statement_filepath => "/home/bigdata/install/logstash-7.6.0/driver/test_oracle_yhxx.sql"
    type => "yhxxsy"
    use_column_value => true
    codec => plain { charset => "UTF-8"}
    jdbc_paging_enabled => true
    tracking_column_type => numeric
    tracking_column => id
    jdbc_page_size => 500000
  }

}
filter {
  date {
    match => [ "timestamp" , "yyyy/MM/dd HH:mm:ss Z" ]
  }
}
output {
 if[type] == "yhxxsy" {
  elasticsearch {
    hosts => ["172.16.2.4:6200","172.16.2.5:6200","172.16.2.6:6200"]
index => "yhxx20210118"
    document_type => "_doc"
    document_id => "%{id}"
  }
  }

}

jdbc_driver_library：是用来链接数据库，版本需要和服务器的一致

jdbc_driver_class：数据库驱动

jdbc_connection_string：相应的数据源

jdbc_user：数据库账号

jdbc_password：数据库密码

statement_filepath：导入这个文件里面sql查出来的数据

type：根据库type名来判断输出给哪个索引

jdbc_paging_enabled：是否开启分页

tracking_column_type：递增字段的类型，numeric 表示数值类型, timestamp 表示时间戳类型

jdbc_page_size：分页的大小

hosts：链接es的路径

index：索引的名称

document_id：判断唯一标识的字段

2.对应的sql文件

路径：/home/bigdata/install/logstash-7.6.0/driver

在这里插入图片描述

SELECT TL.*,ROWNUM rn FROM ( 
select b.cjdbh || e.termbh as ID,
                b.yhdabh ,
                d.xlmc   ckxlmc,
                d.bdzmc  ckbdzmc,
                a.termmc cktermmc,
                a.termbh cktermbh,
                a.txdz  cktxdz,
                a.termlx cktermlx，
                 b.gsbh,
                  b.fgsbh,
                  b.yyzbh
         from cj_da_zd a, yx_meter b, yx_cjd c, cj_da_cjd d, yx_term_pz e,yx_term_az f
         where b.cjdbh = c.cjdbh(+)
           and b.cjdbh = d.cjdbh(+)
           and b.cjdbh = e.cjdbh(+)
           and e.termbh = a.termbh(+)
           and e.termbh = f.termbh(+)
) TL

这四个sql文件就分别是各个索引需要导入的数据

3.pipelines.yml

路径：/home/bigdata/install/logstash-7.6.0/config

打开config文件夹 打开pipelines.yml文件

在这里插入图片描述

pipeline.id是索引名字 这里的索引名必须和jdbc_orcale.conf里面的index一致 不然会报错

4.使用/home/bigdata/install/logstash-7.6.0/bin/logstash -f /home/bigdata/install/logstash-7.6.0/driver/jdbc_oracle.conf & 这个命令就可以启动logstash

二：increase_index.sh脚本

路径：/home/bigdata/install/logstash-7.6.0/bin

#!/bin/sh
#获取当前时间
d=`date +%Y%m%d`
#获取当前时间前一天
yd=`date -d -1day +%Y%m%d`
#计量信息
curl -H "Content-Type:application/json" -XPUT http://172.16.2.6:6200/jlxx$d/?pretty -d '{"settings":{"number_of_shards":5,"number_of_replicas":2},"mappings": {
      "properties": {
        "id": { "type": "keyword" }, 
        "yhdabh": { "type": "keyword" },
        "yhmc": { "type": "keyword" },
        "addr": { "type": "keyword" },
        "cblxbh": { "type": "keyword" },
        
        "ydrl": { "type": "keyword" }, 
        "jlbbh": { "type": "keyword" },
        "djmc": { "type": "keyword" },
        "azwz": { "type": "keyword" },
        "sccj": { "type": "keyword" },
        "dbxb": { "type": "keyword" }, 
        "ptbl": { "type": "keyword" },
        "ctbl": { "type": "keyword" },
        "zhbl": { "type": "keyword" },
        "bjlx": { "type": "keyword" },
        "syfs": { "type": "keyword" }, 
        "hgqxs": { "type": "keyword" },
        "zcbh": { "type": "keyword" },
        "zqddj": { "type": "keyword" },
        "hgqdy": { "type": "keyword" }
      }
  }}'
#用户信息
curl -H "Content-Type:application/json" -XPUT http://172.16.2.6:6200/yhxx$d/?pretty -d '{"settings":{"number_of_shards":5,"number_of_replicas":2},"mappings": {
      "properties": {
        "id": { "type": "keyword" }, 
        "yhdabh": { "type": "keyword" },
        "yhmc": { "type": "keyword" },
        "jlbbh": { "type": "keyword" },
        "tel": { "type": "keyword" },
        "dydj": { "type": "keyword" }, 
        "yhzt": { "type": "keyword" },
        "jlfs": { "type": "keyword" },
        "ydflbh": { "type": "keyword" },
        "zjlb": { "type": "keyword" },
        "gmjjhybh": { "type": "keyword" }, 
        "zjhm": { "type": "keyword" },
        "djmc": { "type": "keyword" },
        "tqmc": { "type": "keyword" },
        "xlmc": { "type": "keyword" },
        "bdzmc": { "type": "keyword" },
        "yhlx": { "type": "keyword" }
      }
  }}'
#工作票
curl -H "Content-Type:application/json" -XPUT http://172.16.2.6:6200/gzpxx$d/?pretty -d '{"settings":{"number_of_shards":5,"number_of_replicas":2},"mappings": {
      "properties": {
        "id": { "type": "keyword" }, 
        "ywmc": { "type": "keyword" },
        "gdbh": { "type": "keyword" },
        "rwmc": { "type": "keyword" },
        "khbh": { "type": "keyword" },
        "khmc": { "type": "keyword" },
  "zcbz": { "type": "keyword" },
  "dnzcbh": { "type": "keyword" },
  "zcbh": { "type": "keyword" },
  "cjdbh": { "type": "keyword" },
  "termZcbh": { "type": "keyword" },
  "sqsj": { "type": "keyword" },
  "wcsj": { "type": "keyword" },
  "clzt": { "type": "keyword" }
      }
  }}'
#采控信息
curl -H "Content-Type:application/json" -XPUT http://172.16.2.6:6200/ckxx$d/?pretty -d '{"settings":{"number_of_shards":5,"number_of_replicas":2},"mappings": {
      "properties": {
        "id": { "type": "keyword" }, 
        "yhdabh": { "type": "keyword" },
        "cjdbh": { "type": "keyword" },
        "jlbbh": { "type": "keyword" },
        "cjdmc": { "type": "keyword" },
        "yxcjdbh": { "type": "keyword" },
  "termbh": { "type": "keyword" },
  "termmc": { "type": "keyword" },
  "yxtermbh": { "type": "keyword" },
  "txdz": { "type": "keyword" },
  "termlx": { "type": "keyword" },
  "tqmc": { "type": "keyword" },
  "xlmc": { "type": "keyword" },
  "bdzmc": { "type": "keyword" },
  "ckcjdbh": { "type": "keyword" },
  "ckjlbbh,": { "type": "keyword" },
  "sjly": { "type": "keyword" },
  "cktqmc": { "type": "keyword" },
  "ckxlmc": { "type": "keyword" },
  "ckbdzmc": { "type": "keyword" },
  "cktermmc": { "type": "keyword" },
  "cktermbh": { "type": "keyword" },
  "cktxdz": { "type": "keyword" },
  "cktermlx": { "type": "keyword" }
      }
  }}'
#起别名操作
curl -H "Content-Type:application/json" -XPOST http://172.16.2.5:6200/_aliases  -d'{"actions":[{"add":{"index":"yhxx'$d'","alias":"yhxx"}}]}'
curl -H "Content-Type:application/json" -XPOST http://172.16.2.5:6200/_aliases  -d'{"actions":[{"add":{"index":"jlxx'$d'","alias":"jlxx"}}]}'
curl -H "Content-Type:application/json" -XPOST http://172.16.2.5:6200/_aliases  -d'{"actions":[{"add":{"index":"gzpxx'$d'","alias":"gzpxx"}}]}'
curl -H "Content-Type:application/json" -XPOST http://172.16.2.5:6200/_aliases  -d'{"actions":[{"add":{"index":"ckxx'$d'","alias":"ckxx"}}]}'
#设置最大搜索值
curl -X PUT "http://172.16.2.4:6200/yhxx$d/_settings?pretty" -H 'Content-Type: application/json' -d'{"index":{"max_result_window":100000000}}'
curl -X PUT "http://172.16.2.4:6200/jlxx$d/_settings?pretty" -H 'Content-Type: application/json' -d'{"index":{"max_result_window":100000000}}'
curl -X PUT "http://172.16.2.4:6200/gzpxx$d/_settings?pretty" -H 'Content-Type: application/json' -d'{"index":{"max_result_window":100000000}}'
curl -X PUT "http://172.16.2.4:6200/ckxx$d/_settings?pretty" -H 'Content-Type: application/json' -d'{"index":{"max_result_window":100000000}}'
#往驱动插入修改索引名
sed -i '72d' /home/bigdata/install/logstash-7.6.0/driver/jdbc_oracle.conf
sed -i '72i''index => "yhxx'$d'"' /home/bigdata/install/logstash-7.6.0/driver/jdbc_oracle.conf

sed -i '80d' /home/bigdata/install/logstash-7.6.0/driver/jdbc_oracle.conf
sed -i '80i''index => "jlxx'$d'"' /home/bigdata/install/logstash-7.6.0/driver/jdbc_oracle.conf

sed -i '88d' /home/bigdata/install/logstash-7.6.0/driver/jdbc_oracle.conf
sed -i '88i''index => "ckxx'$d'"' /home/bigdata/install/logstash-7.6.0/driver/jdbc_oracle.conf

sed -i '96d' /home/bigdata/install/logstash-7.6.0/driver/jdbc_oracle.conf
sed -i '96i''index => "gzpxx'$d'"' /home/bigdata/install/logstash-7.6.0/driver/jdbc_oracle.conf



#修改配置文件
sed -i '78d' /home/bigdata/install/logstash-7.6.0/config/pipelines.yml
sed -i '78i''- pipeline.id: yhxx'$d'' /home/bigdata/install/logstash-7.6.0/config/pipelines.yml

sed -i '80d' /home/bigdata/install/logstash-7.6.0/config/pipelines.yml
sed -i '80i''- pipeline.id: jlxx'$d'' /home/bigdata/install/logstash-7.6.0/config/pipelines.yml

sed -i '82d' /home/bigdata/install/logstash-7.6.0/config/pipelines.yml
sed -i '82i''- pipeline.id: ckxx'$d'' /home/bigdata/install/logstash-7.6.0/config/pipelines.yml

sed -i '84d' /home/bigdata/install/logstash-7.6.0/config/pipelines.yml
sed -i '84i''- pipeline.id: gzpxx'$d'' /home/bigdata/install/logstash-7.6.0/config/pipelines.yml

    
#启动脚本
/home/bigdata/install/logstash-7.6.0/bin/logstash -f /home/bigdata/install/logstash-7.6.0/driver/jdbc_oracle.conf &
wait
#用户信息
curl -H "Content-Type:application/json" -XDELETE http://172.16.2.4:6200/yhxx$yd
#计量信息
curl -H "Content-Type:application/json" -XDELETE http://172.16.2.5:6200/jlxx$yd
#工作票信息
curl -H "Content-Type:application/json" -XDELETE http://172.16.2.6:6200/gzpxx$yd
#采控信息
curl -H "Content-Type:application/json" -XDELETE http://172.16.2.6:6200/ckxx$yd

在这里插入图片描述

创建计量信息索引以及让字段不分词

在这里插入图片描述

给索引起别名以及设置最大搜索值

在这里插入图片描述

sed -i为固定格式，就是直接对文本文件进行操作的

命令说明
sed -i ‘i’在当前行之前插入一行
sed -i ‘d’删除匹配的行

在启动logstash之前index的索引名字和pipeline.id这里的索引名字相对应，如果不相同logstash就跑不起来

在这里插入图片描述

接下来就是启动脚本 下面这个wait是等启动脚本这个操作执行完事之后，再进行删除名字为昨天的索引

努力的Java程序员
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
logstash5.6.1向es导入oracle数据库数据
09-29
资源主要能用于使用logstash将oracle数据导入到es中，logstash的版本为5.6.1
logstatsh数据同步
qq_39750835的博客
08-13 691
1.logstash介绍 1.1 数据采集 logstash是一个插件，将其他地方的数据（如数据库）同步到elasticsearch 1.2 以id或update_time作为同步边界 当数据库中的id增长时（前提是数据库使用自增id），es做定时任务时，比较自己数据的id和数据库的id，如果增长了，那就是有新增的数据，那么，再进行同步。以id作为同步边界这种方法只能识别到增长的数据，不能识别到更改的数据。而以update_time作为同步边界，同理，也是定时比较自己的update_...
Elastic技术栈之Logstatsh数据同步
积跬步，至千里。
12-03 391
这里写自定义目录标题 .ignore 自动生成.ignore文件，并支持一键添加文件到.ignore列表 Lombok plugin CodeGlance 代码编辑区迷你缩放图插件，非常好用 HighlightBracketPair 自动化高亮显示光标所在代码块对应的括号，可以定制颜色和形状，再也不怕看代码看到眼花了 libaba Java Coding Guidelines 阿里巴巴Java开发手册配套插件，一键扫描帮你优化代码。 ...
logstash集成kafka日志分析
fighting_xuan的博客
02-15 544
logstash
logstash的安装 以及logstash-output-jdbc插件安装
q756665001的博客
10-29 1303
logstash安装logstash-output-jdbc插件下载logstash软件下载logstash-output-jdbc插件最后整合安装 下载logstash软件 附上官网下载地址，我下的是最新版 logstash-7.15.1 https://www.elastic.co/cn/downloads/logstash 下载logstash-output-jdbc插件 我是通过离线的方式安装logstash-output-jdbc 5.4.0 先网址下载logstash-output-jdbc
oracle同步elasticsearch工具
07-26
简单配置后将oracle数据同步到elasticsearch数据库中
Oracle数据批量导入elasticsearch脚本
12-31
Linux环境下使用sqlplus工具将oracle中的数据导入到elasticsearch中。只需要在es_bulk_tool.properties配置sql即可实现数据的批量导入。在elasticsearch6中测试通过。shell脚本需要使用sqlplus。
使用logstash将Oracle数据导入到Elasticsearch
JJBOOM425的博客
06-11 1589
今天总结一下如何使用logstash将Oracle数据导入到Elasticsearch，然后后面会分享怎么在KONGA中配置API接口给用户。 首先要安装好Logstash并且在服务端安装好Elasticsearch！！然后开始操作： 1、进入logstash路径 logstash路径： configs：里面存放配置文件。 libs：存放可能需要使用的jar包。 sql：存放sql文件 2、进入sql路径下，创建sql并编辑 cd ./sql vim GXJX_KCSJLB.sql
Python编写Oracle和Elasticsearch数据同步脚本
JasonYSU的博客
07-19 4129
python版本 2.7.12 64位 Oracle（x64 12.10.2）和Elasticsearch（2.2.0）位于远程服务器
logstash7.5同步oracle数据到ES7.5
huan_lxyd的专栏
12-15 1454
logstash配置说明 环境准备 下载elasticsearch7.5、kibana7.5、logstash7.5解压； 把数据库驱动包ojdbc6.jar复制到logstash-7.5.0\logstash-core\lib\jars文件夹下； 配置文件 在config目录下新建配置文件logstash.conf； 该配置文件的内容如下 # Sample Logstash conf...
基于Java的Elasticsearch数据同步迁移工具设计源码
最新发布
04-03
本设计源码提供了一个基于Java的Elasticsearch数据同步迁移工具。项目包含29个文件，主要使用Java和Shell编程语言。文件类型包括7个Java源代码文件、5个BAT批处理文件、5个Shell脚本文件、3个XML配置文件、2个...
一款开源的数据同步中间件提供MySQL、Oracle、SqlServer、Postgre，File,kafka,SQL等同步场景
04-18
DBSyncer（简称dbs）是一款开源的数据同步中间件，提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。支持上传插件自定义同步转换业务，提供监控全量和增量数据统计图、...
ElasticSearch + Logstash 自动同步mysql数据
01-04
ElasticSearch + Logstash 自动同步mysql数据
用python简单实现mysql数据同步到ElasticSearch的教程
09-09
今天小编就为大家分享一篇用python简单实现mysql数据同步到ElasticSearch的教程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Java xml编写SQL 小于号＜ 报错完美解决方案
weixin_44605543的博客
11-06 2357
报错原因 xml吧 “<” 程序员想的是小于号 但是程序会编译成 < 尖括号处理所以报错 解决方案<一> 加入<![CDATA []]> 完美解决 <select id="selectTsl00" resultType="com.alonginfo.api.jg.gkcx.glfx.ycfk.model.Ycfk"> <![CDATA[ select * from user ]]> </select> ![在这里
Java中过滤接口返回结果中值为null的多余字段
weixin_44605543的博客
03-07 1227
javaBean （实体类pojo）加上该注解 @JsonInclude(JsonInclude.Include.NON_NULL) cn.hutool hutool-all 4.3.2
Java面试题总结
weixin_44605543的博客
08-31 1094
1. Java基础 1.1 JDK和JRE的区别 ​ JDK是整个JAVA的核心，包括了Java运行环境JRE，一堆Java工具和Java基础的类库。通过JDK开发人员将源码文件(java文件)编译成字节码文件(class文件)。 JRE是Java运行环境，不含开发环境，即没有编译器和调试器。将class文件加载到内存准备运行 1.2 讲一讲Java内存的堆(heap)、栈(stack)和方法区(method) 栈：调用方法将在栈中开辟内存，称为入栈(压栈)。 栈内存存放基本类型值和引用数
jar包启动项目指向test或者Pro
weixin_44605543的博客
05-04 968
jar包启动项目指向test或者Pro java -jar Ding_shi-1.0-SNAPSHOT.jar spring.profiles.active=test
jdk1.8新特性去重 （查询 select 字段去重 对象去重）
weixin_44605543的博客
01-24 924
查询 aa(); 字段去重bb(); 整个对象去重cc(); 方法 import java.util.ArrayList; import java.util.List; import java.util.TreeSet; import java.util.stream.Collectors; import static java.util.Comparator.comparingLong; import static java.util.stream.Collectors.collectingAndThen
编写一篇可行的flink+es+kafka+oracle架构详细配置及代码分层处理数据
08-03
我已经准备好了一份完整的Flink ES Kafka Oracle架构详细配置及代码分层处理数据的文档，文档内容主要有：第一步，首先搭建Flink集群，包括安装Flink，安装Kafka，安装Elasticsearch和Oracle数据库；第二步，编写...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值