2024年最全使用logstash迁移ES数据并解决限流等问题，2024年最新月薪30K

最新推荐文章于 2024-05-23 16:27:19 发布
最新推荐文章于 2024-05-23 16:27:19 发布
阅读量993 收藏 17
点赞数 10
分类专栏： 程序员 文章标签： elasticsearch 大数据 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84184567/article/details/138469929
版权

img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

user => "elastic"
password => "XXX"
query => '{ "query": { "query_string": { "query": "*" } } }'
size => 2000
scroll => "1m"
docinfo => true
# input中添加routing
docinfo_fields => ["_index", "_id", "_type", "_routing"]

}
}

output {
elasticsearch {
hosts => “http://es2.es.com:80”
index => “xxx”
user => “elastic”
password => “XXX”
document_id => “%{[@metadata][_id]}”
# 指定routing
routing => “%{[@metadata][_routing]}”
}
}

那么问题来了，如果你所有的索引都用这个模板，那么当上游没有指定routing字段的时候，下游的数据中的routing字段就会是[@metadata][_routing]，真的是人都麻了，这个logstash组件一段都不智能，那么这个问题能解决吗？别急，看到最后你就知道了

索引严格模式，无法写入@timestamp和@version字段

上面的问题解决了，跑着跑着，又遇到事了

[2024-03-04T11:43:48,372][WARN ][logstash.outputs.elasticsearch][[main]>worker0][main][23eda3c9518e4ba5a787adadf9714d5512c8ad9a9754020744b84ca81fe1bedc] Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:_id=>"110109711637125402", :_index=>"xxx", :routing=>nil, :_type=>"_doc"}, #<LogStash::Event:0x5e156236>], :response=>{"index"=>{"_index"=>"xxx", "_type"=>"_doc", "_id"=>"110109711637125402", "status"=>400, "error"=>{"type"=>"strict_dynamic_mapping_exception", "reason"=>"mapping set to strict, dynamic introduction of [@timestamp] within [_doc] is not allowed"}}}}
[2024-03-04T11:43:48,372][WARN ][logstash.outputs.elasticsearch][[main]>worker0][main][23eda3c9518e4ba5a787adadf9714d5512c8ad9a9754020744b84ca81fe1bedc] Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:_id=>"110109711960916147", :_index=>"xxx", :routing=>nil, :_type=>"_doc"}, #<LogStash::Event:0x75333e01>], :response=>{"index"=>{"_index"=>"xxx", "_type"=>"_doc", "_id"=>"110109711960916147", "status"=>400, "error"=>{"type"=>"strict_dynamic_mapping_exception", "reason"=>"mapping set to strict, dynamic introduction of [@timestamp] within [_doc] is not allowed"}}}}
[2024-03-04T11:43:48,372][WARN ][logstash.outputs.elasticsearch][[main]>worker0][main][23eda3c9518e4ba5a787adadf9714d5512c8ad9a9754020744b84ca81fe1bedc] Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:_id=>"110109712328692950", :_index=>"xxx", :routing=>nil, :_type=>"_doc"}, #<LogStash::Event:0x7405cd45>], :response=>{"index"=>{"_index"=>"xxx", "_type"=>"_doc", "_id"=>"110109712328692950", "status"=>400, "error"=>{"type"=>"strict_dynamic_mapping_exception", "reason"=>"mapping set to strict, dynamic introduction of [@timestamp] within [_doc] is not allowed"}}}}

看下索引结构

{
    "xxx" : {
      "aliases" : { },
      "mappings" : {
        "dynamic" : "strict",
        "properties" : {
        }
      },
      "settings" : {
        "index" : {
        }
      }
    }
  }

原来是索引设置了，严格模式，不允许插入新的字段，那咋整？

还有logstash支持一些filter可以删除掉一些字段，那么我们安排上

input {
  elasticsearch {
    hosts => "http://es1.es.com:80"
    index => "merchant_order_rel_pro_v2"
    user => "elastic"
    password => "XXX"
    query => '{ "query": { "query_string": { "query": "*" } } }'
    size => 2000
    scroll => "1m"
    docinfo => true
  }
}
filter {
  mutate {
    # 删除logstash多余字段
    remove_field => ["@version","@timestamp"]
  }
}
output {
  elasticsearch {
   hosts => "http://es2.es.com:80"
    index => "xxx"
    user => "elastic"
    password => "XXX"
    document_id => "%{[@metadata][_id]}"
  }
}

logstash限流

有的时候写入的太快了，下游扛不住，刚开始是通过修改参数来解决，但是每次修改任务都要重新跑，人有点麻了

网上找了一通也没见到logstash有限流插件

发现可以调用本地ruby脚本，不会ruby让gpt生成了一个令牌桶算法的脚本，但是限流效果一言难尽，只能说能限流，但是数字不是你想要的值。

没办法了只好研究下怎么编写插件，结果gradle功底太差了，源码编译不过彻底麻了

最后没办法，自己写了个java版本的基于guava的RateLimiter实现的限流插件打成jar包直接放进去解决了该问题

https://github.com/valsong/logstash-java-rate-limiter

logstash-java-rate-limiter使用方法

使用方法也很简单，将我编写的插件的jar放到目录logstash/logstash-core/lib/jars/中即可

  • 参数
paramtyperequired默认值样例desc
rate_pathstringno无/usr/share/logstash/rate.txt从该文件中读取第一行作为限流值，你可以随时修改这个文件中的限流值
count_pathstringno无/usr/share/logstash/count.txt记录已经同步的事件的数量到该文件中
count_log_delay_seclongno3030根据设置的秒数以固定间隔在logstash的日志中打印事件数量
  • 在文件中设置限流值
echo 5000 > /usr/share/logstash/rate.txt
  • 添加一个filter叫java_rate_limit到任务的配置文件中
input {
  elasticsearch {
    hosts => "http://xxx-es.xxx.com:9200"
    index => "xxx"
    user => "elastic"
    password => "XXXX"
    query => '{ "query": { "query_string": { "query": "*" } } }'
    size => 2000
    scroll => "10m"
    docinfo => true
    # docinfo_fields => ["_index", "_id", "_type", "_routing"]
  }
}


filter {
  # plugin name
  java_rate_limit {
    # 设置限流值到该文件的第一行
    rate_path => "/usr/share/logstash/rate.txt"
    # 用于记录时间的数量的文件
    count_path => "/usr/share/logstash/count.txt"
    #  根据设置的秒数定时打印事件数量到日志中
    count_log_delay_sec => 30
  }
}


output {
  elasticsearch {
   hosts => "yyy-es.yyy.com:9200"
    index => "xxx"
    user => "elastic"
    password => "YYYY"
    document_id => "%{[@metadata][_id]}"
    # document_type => "%{[@metadata][_type]}"
    # routing => "%{[@metadata][_routing]}"
  }
}

然后就可以限流了，如果需要调整限流值，直接改文本中的数字即可，过了几秒就会生效

效果如下：

[2024-02-01T16:44:41,515][WARN ][org.logstash.plugins.filters.RateLimitFilter][Converge PipelineAction::Create<main>] ### Rate limiter enabled:[true]! ratePath:[/usr/share/logstash/rate.txt].
[2024-02-01T16:44:41,519][WARN ][org.logstash.plugins.filters.RateLimitFilter][rate-limit-0] # Rate changed, set new RateLimiter! lastRate:[0.0] rate:[5000.0] ratePath:[/usr/share/logstash/rate.txt].
[2024-02-01T16:44:41,520][WARN ][org.logstash.plugins.filters.RateLimitFilter][Converge PipelineAction::Create<main>] ### Record event count to file enabled:[true]! countPath:[/usr/share/logstash/count.txt].
[2024-02-01T16:44:50,536][INFO ][org.logstash.plugins.filters.RateLimitFilter][rate-limit-1] Event count:[36500] rate:[5000.0].
[2024-02-01T16:45:00,561][INFO ][org.logstash.plugins.filters.RateLimitFilter][rate-limit-1] Event count:[87000] rate:[5000.0].
[2024-02-01T16:45:10,587][INFO ][org.logstash.plugins.filters.RateLimitFilter][rate-limit-1] Event count:[137000] rate:[5000.0].
[2024-02-01T16:45:11,587][WARN ][org.logstash.plugins.filters.RateLimitFilter][rate-limit-0] # Rate changed, set new RateLimiter! lastRate:[5000.0] rate:[6000.0] ratePath:[/usr/share/logstash/rate.txt].
[2024-02-01T16:45:20,591][INFO ][org.logstash.plugins.filters.RateLimitFilter][rate-limit-0] Event count:[204000] rate:[6000.0].
[2024-02-01T16:45:30,595][INFO ][org.logstash.plugins.filters.RateLimitFilter][rate-limit-0] Event count:[264000] rate:[6000.0].
[2024-02-01T16:45:40,638][INFO ][org.logstash.plugins.filters.RateLimitFilter][rate-limit-0] Event count:[324000] rate:[6000.0].
[2024-02-01T16:45:50,647][INFO ][org.logstash.plugins.filters.RateLimitFilter][rate-limit-0] Event count:[384000] rate:[6000.0].
[2024-02-01T16:46:00,649][WARN ][org.logstash.plugins.filters.RateLimitFilter][rate-limit-1] # Rate changed, set new RateLimiter! lastRate:[6000.0] rate:[3000.0] ratePath:[/usr/share/logstash/rate.txt].
[2024-02-01T16:46:00,651][INFO ][org.logstash.plugins.filters.RateLimitFilter][rate-limit-0] Event count:[444000] rate:[3000.0].
[2024-02-01T16:46:10,655][INFO ][org.logstash.plugins.filters.RateLimitFilter][rate-limit-0] Event count:[482000] rate:[3000.0].

配置文件最终版本

如果你用了我的插件，又不想每次都判断routing值，同时不想将@version和@timestamp两个字段写入下游，那么配置文件这么写就对了

注意output中的if判断条件，不能写到elasticsearch插件内，折腾了一下午才知道这个问题

input {
  elasticsearch {
    hosts => "http://es1.es:80"
    index => "xxx_pro_v1"
    user => "elastic"
    password => "XXXXXX"
    query => '{ "query": { "query_string": { "query": "*" } } }'
    size => 2000
    scroll => "1m"
    docinfo => true
    # input中添加routing
    docinfo_fields => ["_index", "_id", "_type", "_routing"]
  }
}

filter {
  # 限流插件名称，没有用限流插件就把这个去掉即可
  java_rate_limit {
    # 限流插件限流值地址
    rate_path => "/usr/share/logstash/rate.txt"
  }
  mutate{
    # 移除logstash新增的两个字段
    remove_field => ["@version","@timestamp"]
  }
}

output {
  # 判断是否有routing
  if [@metadata][_routing] {
    elasticsearch {
      hosts => "http://es2.es.com:80"
      index => "xxx_pro_v1"
      user => "elastic"
      password => "XXX"
      document_id => "%{[@metadata][_id]}"
      # ES6需要指定type
      # document_type => "%{[@metadata][_type]}"
      # 指定routing
      routing => "%{[@metadata][_routing]}"
    }
  } else {
    elasticsearch {
      hosts => "http://es2.es.com:80"
      index => "xxx_pro_v1"
      user => "elastic"
      password => "XXX"
      document_id => "%{[@metadata][_id]}"
      # ES6需要指定type
      # document_type => "%{[@metadata][_type]}"
    }
  }
}



![img](https://img-blog.csdnimg.cn/img_convert/5c17ab65dbab953937b98394f890c61c.png)
![img](https://img-blog.csdnimg.cn/img_convert/fdf6fdeaeae6ccd7171b82d58fcf11c5.png)
![img](https://img-blog.csdnimg.cn/img_convert/351129083539538816a94c2351fb4aed.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

714900749106)]
[外链图片转存中...(img-rQb0gw1Y-1714900749106)]
[外链图片转存中...(img-sULQX7oH-1714900749107)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
2401_84184567
关注
  • 10
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
logstash同步数据到es
m0_50052896的博客
07-26 2766
1.下载 下载地址 https://www.elastic.co/cn/downloads/logstash 2.安装 解压即可 3.配置 有两种同步，一种是增量同步，增量同步则只同步两个数据库不同的部分。 另一种就是全量同步，全量同步是一次性同步全部数据 增量同步 在bin目录下新建**.conf文件 input { stdin {} jdbc { type => "jdbc" jdb
php+logstash+elasticsearch，完美解决搜索引擎及快速切片问题
01-16
在构建高效的搜索引擎和数据分析系统时，PHP、Logstash和Elasticsearch的组合是一个非常流行的解决方案。这个架构能够帮助企业快速地处理、存储和检索大量数据，同时提供强大的搜索功能和实时数据分析。 首先，PHP...
Elasticsearch通过Logstash迁移数据
qq_31464633的博客
05-23 501
使用 Elasticsearch 7.12.1 通过 Logstash 7.12.1 迁移数据，可以将数据从一个 Elasticsearch 集群迁移到另一个集群，或从其他数据源（例如数据库）导入到 Elasticsearch 中。
使用logstash迁移es数据
h952520296的博客
03-03 1147
【代码】使用logstash迁移es数据。
使用logstash迁移ES数据并解决限流等问题
valsong的专栏
03-29 769
介绍logstash如何迁移ES的索引，同时解决一些常见的问题例如限流等
logstash系列一使用logstash迁移ES数据
weixin_34290352的博客
05-21 1631
es的文档id生成方式可以是 自动的uuid，也可以是自定义的id，可以用业务中的id字段进行映射 自动的id，URL安全，base64编码，GUID，如下： POST /test_index/test_type { "test_content": "my test" } 手动的就靠自己定义 PUT /test_index/test_type/2 { "t...
Palo Alto防火墙生产环境logstash配置文件 PANOS 10.2.8 测试通过 - 2024最新版
04-03
这个配置文件用于通过 logstash 解析Palo Alto Networks（PAN-OS）防火墙产生的Syslog日志，并将其转换为结构化的数据格式以便于后续处理和分析。 这个配置文件提供了以下功能： 1. 解析Palo Alto Networks（PAN-...
用于SqlServer 同步数据到ElasticSearch的logstash测试
05-14
标题 "用于SqlServer 同步数据到ElasticSearch的logstash测试" 描述了一种通过Logstash将SQL Server数据库中的数据实时或定期同步到ElasticSearch的解决方案。在.NET平台上，这种数据同步通常是为了实现大数据分析、...
MySQL 与 Elasticsearch 数据不对称问题解决办法
09-09
在整合MySQL和Elasticsearch的过程中，常常会遇到数据同步不一致的问题，这主要是由于数据库的更新、删除操作未被及时反映到搜索引擎中导致的。针对这种情况，我们可以采取一系列策略来解决这种不对称问题。 首先，...
elasticsearch logstash同步数据 视频教程
最新发布
06-23
ELK elasticsearch logstash 同步数据 视频教程
elasticsearch数据迁移之logstash
菜鸟运维升级之路
11-04 1856
通过第五章内容，我们了解到了elasticdump工具只适合es数据量较小，且索引不是很多、很多的情况下适用，即大部分情况用于备份单个索引。但是在实际生产环境中，迁移整个es集群数据的次数也很多，因此elasticdump就很不适用，如果强硬使用还会导致服务器磁盘IO及CPU过高,容易产生告警，所以本篇文章再给大家推荐一个适用于生产环境的迁移工具logstash。本次分享的logstash迁移方法,最重要的一点就是源es和目标es网络要互相通，如果不通，这种方法会迁移失败。
使用logstash迁移ES1.x数据到ES7.x
农民工
09-05 553
es版本升级迁移数据，从1.7升级7.x版本
使用Logstash将MySql数据迁移到Elasticsearch中
weixin_34080951的博客
03-18 610
2019独角兽企业重金招聘Python工程师标准>>> ...
logstash迁移ES集群
weixin_45080962的博客
11-04 1319
前言：新机器上新建集群+logstash迁移原ES集群数据到目标机器。 安装logstash # 后台下载logstash [lsy@test ~]$ wget -b https://artifacts.elastic.co/downloads/logstash/logstash-5.6.1.tar.gz # 查看安装进度 [lsy@test ~]$ tail -f wget-log # 解压安装包 [lsy@test ~]$ tar -zxvf logstash-5.6.1 # 重命名 [lsy@t
logstash同步数据库数据到es中
weixin_43123066的博客
02-18 957
input{ jdbc { # 数据库的驱动包 各个数据库都有对应的驱动 需自己下载 jdbc_driver_library => "E:\apache-maven-3.8.2-bin\apache-maven-3.8.2\repo\org\postgresql\postgresql\42.2.18\postgresql-42.2.18.jar" # jdbc class 不同数据库有不同的 class 配置 jdbc_driver_class => "org
2024年大数据最全使用logstash迁移ES数据并解决限流等问题(1)，2024年最新字节跳动大数据开发三面凉凉
2401_84181309的博客
05-13 1202
input {
Logstash数据同步
Qynwang的博客
04-22 3626
2. 在 /usr/local/logstash-7.6.2/ 下创建文件夹 sync/，将数据库驱动 mysql-connector-java-5.1.41.jar 包上传到 /usr/local/logstash-7.6.2/sync/ 下，将其 放入 /usr/local/logstash-7.6.2/sync/didiok-items.sql 文件中。先上传到服务器 /home/software/ 下，然后解压，并将解压后的文件夹移动到 /usr/local/ 下。5. 启动 logstash。
Logstash从elasticsearch到elasticsearch迁移后丢失数据
05-13
数据丢失的原因可能有很多，以下是一些可能导致数据丢失的原因： 1. 数据丢失可能与 Logstash 配置有关。如果您从 Elasticsearch 迁移到 Elasticsearch，并且在此过程中更改了 Logstash 配置，则可能会丢失数据。请检查您的配置文件是否正确，特别是输出插件的配置。 2. 如果您使用的是 Logstash 的默认设置，则可能会因为队列溢出而丢失数据。默认情况下，Logstash 队列的最大大小为 20 MB，如果队列已满，则会发生数据丢失。您可以通过增加队列的最大大小或使用持久队列来避免这种情况。 3. 如果您在 Elasticsearch 中启用了索引模板，则可能会因为索引模板不兼容而丢失数据。请确保在迁移后更新索引模板以匹配新的 Elasticsearch 集群。 4. 如果您使用的是 Elasticsearch 的默认设置，则可能会因为分片不足而丢失数据。默认情况下，Elasticsearch 索引有 5 个主分片和 1 个副本分片。如果您的数据量很大，可能需要增加主分片的数量以避免数据丢失。 5. 最后，如果您在迁移过程中使用了不同版本的 Elasticsearch，则可能会因为版本不兼容而丢失数据。请确保在迁移之前检查 Elasticsearch 的版本兼容性。 希望这些提示能够帮助您找到数据丢失的原因并解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值