RabbitMQ，Elasticsearch学习,批量读取消息队列上的数据上传到Elasticsearch

最新推荐文章于 2024-04-16 22:59:26 发布
最新推荐文章于 2024-04-16 22:59:26 发布
阅读量609 收藏
点赞数
文章标签： 大数据 数据库 python
原文链接：http://www.cnblogs.com/jiangcm/p/10856710.html
版权

 

 

 

先上DEMO：

链接：https://pan.baidu.com/s/1owlkBJlIMDWZS9YdSTA7xw 

提取码：7p0b 

电脑配置如图：

测试结果：

1、2百万条数据发送到MQ上需要2分45

2、单个消费者被动接收数据

3、主动拉取队列里的消息

4、测试MQ主动拉取2百万条信息还是544116毫秒,发送到ES，本来是2百万条，但是存到1百万条的时候就结束了，耗时611790，不知道是不是有上限

5、设置50W为一组插入到ES里,需要758秒

 

转载于:https://www.cnblogs.com/jiangcm/p/10856710.html

weixin_30783913
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用RabbitMQ同步ES数据
一颗小陨石的博客
10-20 3886
借助rabbitMQ，当文章发布、修改、删除时发送一条消息，消息数据为文章id，搜索服务编写监听器接收消息，保存新的数据。 一、文章微服务添加依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring...
RabbitMQ入门-5（单发送多接收）
12-06 663
写在前面的话 系列教程都是从网络上收集和本人的理解所编辑而成，仅供广大爱好者学习所用，请尊重本人的劳动成果。欢迎评论指正和转帖！（请保留连接谢谢！）
elasticsearch【es】+Rabbitmq【mq】实现搜索功能
最新发布
onekeeper的博客
04-16 214
使用elasticsearch技术实现商品搜索功能，相对mysql，效率更高，分词查找更合理！用来存储商品搜索数据的实体类。
rocket mq——批次实例
七月流星
09-15 594
批次实例 为什么批量？ 批量发送消息提高了传递小消息的性能。 使用限制 相同批次的消息应该具有：相同的主题，相同的waitStoreMsgOK和没有计划支持。 另外一批邮件的总大小不能超过1MiB。 如何使用批次 如果您一次发送的消息不超过1MiB，则容易使用批处理： String topic = "BatchTest"; ListMessage
MQ异步同步搜索引擎ElasticSearch数据踩坑
weixin_30741653的博客
08-27 312
业务背景 　　在大型网站中，为了减少DB压力、让数据更精准、速度更快，将读拆分出来采用搜索引擎来为DB分担读的压力，ElasticSearch就是目前市面上比较流行的搜索引擎，他的检索速度奇快、支持各种复杂的全文检索，在各种场景下对比其他的搜索引擎的检索速度都显得尤为出众。这篇就先不介绍ElasticSearch了，后续我会出一个ElasticSearch的教程，目前已经写的查不多了，mq相信大...
超级市场：设计精良的网上商城系统，包括前端，预定，数据库，负载均衡，数据库缓存，分库分表，读取分离，全文检索，消息队列等，使用SpringCloud框架，基于Java开发。该项目可部署到服务器上，不断完善中……
02-03
基于SpringCloud框架开发的商城系统，代码严格按照MVC划分思想，可部署到服务器上，设计精良，不断完善 包结构说明 com.supermarket。*。filter对应于微服务的过滤器 com.supermarket。*。listener对应于微服务的...
人工智能-项目实践-搜索引擎-电商项目：fastDFS 搜索引擎 三级缓存 秒杀模块 oauth 第三方登录 rabbitmq
02-27
在这个项目中，可能采用了自定义的搜索解决方案或者开源的搜索引擎如Elasticsearch。 3. **FastDFS**：这是一个开源的、轻量级的文件存储系统，适合处理大量小文件的存储，如商品图片。FastDFS能有效解决大文件的...
基于SpringBoot+MyBatis+Redis+RabbitMQ 实现的秒杀系统.zip
09-11
- **监控和日志**：使用如Prometheus和Grafana进行系统监控，通过ELK Stack（Elasticsearch、Logstash、Kibana）收集和分析日志，以便于故障排查和性能调优。 这个项目提供了一个实际的、完整的解决方案，对于学习...
数据中台之结构化大数据存储设计.docx
07-14
6. **队列服务**：如RabbitMQ和Kafka，它们作为异步消息传递的中介，确保数据处理的顺序和可靠性。 7. **批量计算和流计算**：Apache Spark SQL支持交互式分析，而Apache Beam和Flink的流计算功能则用于实时数据...
08.2、消息中间件--kafka(5题)1
08-03
Kafka 在日志收集、大数据处理以及流数据场景中表现出色，如大数据部门的流数据处理、ELK（Elasticsearch, Logstash, Kibana）日志分析栈等。它在这些领域提供了高吞吐量、低延迟的解决方案，但不支持事务和消息确认...
基于springcloud+Netty+MQ+mysql的分布式即时聊天系统源码+数据库+项目说明.zip
01-09
【资源说明】 1、该资源包括项目的全部源码，下载可以直接使用！ 2、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目，作为参考资料学习借鉴。 3、本资源作为“参考资料”如果需要实现其他功能，需要能看懂代码，并且热爱钻研，自行调试。 基于springcloud+Netty+MQ+mysql的分布式即时聊天系统源码+数据库+项目说明.zip # KT-Chat 分布式即时聊天系统 **技术选型**：Java、SpringCloud、Nacos、Sentinel、Netty、MySQL、Redis、RocketMQ 等 **项目描述**：项目基于 SpringCloud Gateway + Nacos + Sentinel + OpenFeign 作为分布式系统架构，基于 Netty 实现高性能网络通信。主要功能有：一对一聊天以及群组聊天、好友管理、群组管理等。 项目独立完成，包括需求分析、设计、开发实现。 关于我在项目中使用 MySQL 读写分离的总结：[MySQL主从延迟的解决方案](https://blog.csdn.net/KIMTOU/article/details/125033199) ## 用例分析 用户能够在聊天系统上进行网络通信，与好友进行实时一对一聊天，与群组成员进行群聊。用户用例图如下所示： 1. 用户登录：登录系统 2. 聊天：包含与好友进行一对一聊天，与群组成员进行群聊。 3. 群聊管理：新建群聊、加入群聊、退出群聊。 4. 好友管理：显示好友列表，添加、删除好友。 5. 在线离线状态显示：查看好友的在线、离线状态。 6. 聊天记录管理：将聊天记录存入数据库，能够显示、删除存储的聊天记录。 <img src="https://cdn.tojintao.cn/Chat原理图.png" alt="img" style="zoom:67%;" /> ## 系统设计 #### 系统总体设计 分布式即时聊天系统分为用户信息子系统、长连接管理子系统、聊天信息子系统共三个子系统，API 网关负责将请求路由至各个子系统。 * 用户信息子系统包含权限校验模块、用户登录模块、好友管理模块，其中好友管理模块包括好友列表、添加好友、删除好友功能； * 长连接管理子系统包含在线状态管理模块、聊天主模块、消息推送模块，其中聊天主模块包括一对一聊天和群聊功能； * 聊天信息子系统包含群聊管理模块、聊天记录管理模块，其中群聊管理模块包括新建群聊、加入群聊、退出群聊功能。 <img src="https://cdn.tojintao.cn/KT-Chat系统结构图.png" style="zoom:67%;" /> #### 系统架构设计 ![](https://cdn.tojintao.cn/KT-Chat系统架构设计.png) 项目基于 Nacos 作为注册中心，将各个服务注册进 Nacos，包括 Netty 服务端；使用 SpringCloud Gateway 作为服务网关，是所有请求的统一入口；限流组件使用 Sentinel；基于 Netty 进行通信、维护长连接；RocketMQ 作为消息队列，处理聊天消息的异步入库以及解决分布式 Netty 节点问题； Zookeeper 用于分布式 id 的生成；Redis 用于记录用户在线状态以及记录 Netty 节点的元数据；MySQL 对数据进行持久化。 ## 运行截图 #### 一对一聊天 ![](https://cdn.tojintao.cn/聊天测试1.PNG) #### 群聊 ![](https://cdn.tojintao.cn/群聊测试1.PNG) ## 启动说明 1. 启动本项目时，需提前启动 Nacos、RocketMQ、MySQL、Redis、ElasticSearch、Sentinal 实例。 2. conntector 与 connector-2 这两个模块并不一样，connector-2 使用了 Dubbo 进行消息转发（实验阶段），而 connector 使用 Feign 进行 HTTP 调用转发消息。启动 connector 就行了。 3. 每个服务都允许运行多个实例。
Canal-1.1.6推送数据至Elasticsearch7.16.2（整合版）
Mr.Wang的博客
09-30 1654
（注意：由于是本人整合过的安装包所以这些配置都是自带的，正常情况需要自己去创建instance实例并且绑定主机的）在conf创建es7映射配置文件order_complete_query_t.yml。配置数据库将canal_manager.sql表结构导入mysql。从kibana开发者工具创建（映射索引涉及线上数据所以就不公布了）instance实例日志正常（缝合包自带一个es7同步实例）(注意：先不要启动，需要先去es7创建对应的索引)创建instance实例所需的数据库账户。
关于我在SpringCloudAlibaba运用和入门Rocketmq
一个爱运动的程序员的博客
12-23 1355
文章目录学习目标学习内容一、MQ简介1、什么是MQ2、MQ的应用场景3、常见的MQ产品二、RocketMQ入门1、RocketMQ环境搭建2、RocketMQ的架构及概念3、RocketMQ控制台安装三、消息发送和接收1、发送消息2、接收消息四、案例1、订单微服务发送消息2、用户微服务订阅消息五、发送不同类型的消息1、普通消息2、顺序消息3、事务消息六、消息消费要注意的细节 学习目标 学习内容 一、MQ简介 1、什么是MQ MQ（Message Queue）是一种跨进程的通信机制，用于传递消息。通俗点说，就
分布式 SpringCloudAlibaba、Feign与RabbitMQ实现MySQL到ES数据同步
wanghuichen的博客
04-08 753
MySQL 数据 如何同步到ES，重磅来袭，面试高频 ？ 一文彻底搞定！
消息队列基础
qq_37707826的博客
03-12 718
简述kafka的架构设计 Consumer Group：消费者组，消费者组内每个消费者负责消费不同分区的数据，提高消费能力。逻辑上的订阅者。 Topic：将消息分类，生产者和消费者面向的是同一个Topic Partition：为了实现扩展性，提升并发能力，一个Topic以多个Partition的方式分布到多个Broker上，每个Partition都是一个有序队列。一个Topic的每个Partition都有若干个副本（Replica），一个leader和若干个Follower。生产者发送数据的对象，以及消费者
通过rabbitmq将商品数据同步到elasticsearch
qq_40750454的博客
06-23 711
//tp5添加商品时，将商品数据存入rabbitmq中 public function add(){ if($_POST){ $post = input('post.'); Db::startTrans(); try{ //添加商品 $goods = Db::table("goods")->insertGetId([ .
Rabbitmq通过logstash把queue中的数据保存到ElasticSearch
zoboy的博客
07-27 9011
      Rabbitmq中的数据通过logstash保存到ElasticSearch中，有以下几步即可完成      首先，保证Rabbitmq，ElasticSearch安装并且可以使用，logstash可用。具体安装过程在本文不做说明，不会的同学可以自行查找资料。  如图所示，我的ElasticSearch和Rabbitmq已经正常可以使用。 接下来就是配置logstash并且启...
RabbitMQ拉模式批量消费消息
热门推荐
跨过山和大海的博客
12-05 1万+
实现RabbitMQ的消费者有两种模式，推模式（Push）和拉模式（Pull）。 实现推模式推荐的方式是继承 DefaultConsumer 基类，也可以使用Spring AMQP的 SimpleMessageListenerContainer 。 推模式是最常用的，但是有些情况下推模式并不适用的，比如说： 由于某些限制，消费者在某个条件成立时才能消费消息 需要批量拉取消息进行...
RabbitMQ
weixin_40803117的博客
09-20 1002
RabbitMq学习
请给一个java使用rabbitmq读取消息队列中消息的使用案例
06-13
以下是Java使用RabbitMQ读取消息队列中消息的使用案例： 1. 连接RabbitMQ服务器 ``` Connection connection = factory.newConnection(); Channel channel = connection.createChannel(); ``` 2. 创建消息队列 ``` String queueName = "hello"; channel.queueDeclare(queueName, false, false, false, null); ``` 3. 接收消息 ``` Consumer consumer = new DefaultConsumer(channel) { @Override public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException { String message = new String(body, "UTF-8"); System.out.println("Received message: " + message); } }; channel.basicConsume(queueName, true, consumer); ``` 在以上代码中，我们使用DefaultConsumer类创建了一个消息消费者，并通过channel.basicConsume()方法开始消费消息。当消费者接收到消息时，handleDelivery()方法会被调用，我们可以在该方法中处理消息。 4. 关闭连接 ``` channel.close(); connection.close(); ``` 以上是读取消息队列中消息的基本使用案例，需要注意的是，读取消息队列的操作是阻塞的，即调用channel.basicConsume()方法后，程序会一直等待直到接收到消息。如果需要非阻塞地读取消息队列，可以使用channel.basicGet()方法，具体使用方法可以参考RabbitMQ官方文档和Java客户端库的文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值