***logstash 将oracle数据抽取到elasticsearch时的字段映射问题***

问题描述:一次在logstash抽取数据的时候,在其配置文件里面写sql定义字段映射的时候(select fn as “fN” from table ),发现抽取到elasticsearch中的字段为全小写,驼峰命名不起作用,后来发现 elasticsearch 导入的字段名称默认为全小写,
百度不到百度不到百度不到~

然后去瞄了一眼官方文档,需要在配置文件里面加上如下配置:
#oracle和elasticsearch的映射
filter {
mutate {
rename => { “HOSTORIP” => “client_ip” }
}
}

用过logstash的朋友瞄一眼就明白了昂~

Logstash是一个强大的日志管理和分析工具,版本7.14主要用于实收集、过滤和发送各种日志数据,包括从数据库中提取信息。要将达梦(DM)数据库的数据抽取并传输到Elasticsearch(ES),你可以按照以下步骤操作: 1. 安装Logstash:首先需要下载并安装Logstash 7.14,可以从其官方网站或通过包管理器(如RPM或DEB)获取。 2. 配置数据输入插件(inputs):对于达梦数据库,你需要使用`jdbc`插件作为输入源。在`logstash.yml`配置文件中添加如下部分: ```yaml input: jdbc: driver_library: "lib/dm.jdbc.jar" # 如果DM JDBC驱动不在默认路径,提供完整路径 driver_class: "com.dmdb.jdbc.Driver" url: "jdbc:dm://your_host:port/your_database" username: "your_username" password: "your_password" schedule: "*/5 * * * *" # 每五分钟执行一次查询,默认可以修改 statement: "SELECT * FROM your_table;" # 查询你要抓取的表 ``` 3. 数据过滤和转换:在`input`块下面,你可以添加`filter`来处理查询结果,例如选择特定字段、解析JSON等。 4. 输出到Elasticsearch:设置`output`部分,配置数据发送到Elasticsearch集群: ```yaml output: elasticsearch: hosts: ["localhost:9200"] # ES服务器地址 index: "your_index_name-%{+YYYY.MM.dd}" # 自动创建日期索引 document_type: "doc_type" # 如果你的数据有固定的文档类型 ``` 5. 启动Logstash:运行`bin/logstash -f logstash.yml`命令,开始监控并处理数据
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值