druid.io + tranquility实时任务的表现，借助2020双11总结下

于 2020-11-20 20:45:21 发布
阅读量255 收藏
点赞数
分类专栏： druid.io
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26437925/article/details/109863774
版权

目录

主要是总结下本人在双11的druid.io集群运维工作和一些思考

直接画个图记忆下
在这里插入图片描述

问题总结

运维自动化？

不少问题还是通过告警，然后人工判断再操作

这里是可以自动化点的，判断的条件要抽象符合逻辑（机器指标没有就找运维，自身系统指标没有就开发，脚本能用就上起来），操作可以封装(有操作，有回退)，就可以开工

需求反复/事后通？

总是在问题暴露的时候才去考虑如何解决，事实上之前就提过，就是不重视，以为问题不大或者不重要。

所以尽早的模拟，开始做，没有问题也要模拟问题，这跟写算法考虑边界情况差不多，要有先见之明

设计上和能力不够？

架构设计上是有缺陷的，再就是能力不够，想改改不了，得通过第三方或者继续深入研究，提高下能力，然后让架构更好点了

双11和平时的区别？

区别不大，因为事先做好了压测和扩容准备；不过凡事都有意外，就看考虑是否周全了，不周全也有临时补救措施，总是以造成最小影响为目的，作为一个考验服务能力的机会，也是暴露问题和改进的机会。

没什么特别区别要说的

druid.io表现总结

druid.io + tranquility 最怕的是两台middleManager的挂掉(宕机或者OutOfMemory)，不过以这么久的运维经验来看，基本这种概率是很小的（机器同时宕机概率较小，除非停电或者机房怎么了，其次：middleManager足够且实时查询做了一些超大查询限制，同时任务有备份，和上游有lag告警之类的，告警是比较足够的）

整体大促期间任务方面很稳定，查询方面会上涨不少（不过查询路由，限流，机器实现扩容都是有的，机器各种监控都有，可随时扩的），查询也是稳的很；整体表现感觉可以打9分(满分10分)，除去一些意外

  1. 预估不足导致临时扩容

实时任务流量上涨，那就扩，目前手工或者自动都行，有时间窗口和正确的预估基本提前解决了99%的实时任务。一台2C4G tranquility 消费上游1-3w qps可以，不过对于>=200wqps的上游kafka实时流，确实会消耗很多的机器，同时kafka partition需要扩在合理范围，太小了消费也跟不上

不过总是会存在预估不足的时候，本次双11就遇到，不过告警的及时和操作的及时，临时扩容解决了

  1. 数据倾斜

这个常有的事情，继续扩可以解决，加随机维度也可以解决；危急情况，当然就是扩了再说，缓解下倾斜问题；不过后续还是要对数据进行分析/治理，避免严重的倾斜，现阶段倾斜已经hash了所有维度值，理论上是还好的，没有数量级别的倾斜，这一点后续可能要预判下，做好应对处理

个人操作总结

这次本人值班负责总结就是：同往常一样，千万不能乱，仍然是分析各种指标，定位到问题，然后合理操作，动作无非比平时快了点。

如平常一样，没必要慌慌张张的。

----------2020年11月20日 星期五 20时48分28秒 CST

master-dragon
关注
专栏目录
Tranquility 写入数据到 Druid
乔的博客
03-19 2998
需求 启动一个单机版 Druid 直接通过一个客户端写一些数据进去，不通过其他 kafka 或者 批量导入之类的 调研出来的方案 启动 Druid + tranquility Druid+Tranquility 快速启动：http://druid.io/docs/latest/tutorials/tutorial-tranquility.html Tranquility仓库：https:/...
druid.io 任务进程执行的结束阶段突然卡住【工作总结】
master-dragon的专栏
03-23 1069
整体服务架构理解
Druid Tranquility
来啊 快活啊
12-31 1092
Druid Tranquility
Druid（Druid.io）简单使用
凌晨1点21分的专栏
12-17 1396
Druid简单使用 一、Druid服务进程 Historical进程：Historical进程用于处理历史数据的存储和查询（历史数据包括所以已经被committed的流数据）。Historical进程从深度存储(Deep Storage)中下载Segment数据，同时支持对这些数据的查询操作。Historical进程不支持写入操作。 MiddleManager进程：MiddleManager负责将...
Tranquility
weixin_30653023的博客
02-13 570
本页目录 与Kafka集群交互 Druid使用Tranquility Kafka 本文以Kafka为例，介绍在E-MapReduce中如何使用Tranquility从Kafka集群采集数据，并实时推送至Druid集群。 Tranquility是一个以push方式向Druid实时发送数据的应用。它替用户解决了分区、多副本、服务发现、防止数据丢失等多...
druid.io中国社区群信息
分布式应用与服务器架构专栏
06-09 4910
我创建一个druid.io群：551526064 欢迎大家加入进来进行讨论。 下个目标：突破500人！！！！！！
druid.io数据迁移sql
03-25
druid.io新旧集群数据迁移的实现,该脚本就是在druid.io数据迁移过程中会使用到的脚本
puppet-druid:用于管理 Druid (druid.io) 节点的基本 puppet 模块
07-01
Druid 提供经济高效、高度可用的实时数据摄取和任意数据探索。 由的一些非常棒的人构建。 免责声明：这是一个非常粗略的模块，到目前为止仅在 Ubuntu 12.04 LTS 64 位上进行了测试，但应该适用于大多数基于 Debian...
Druid.io index_realtime实时任务源码分析
master-dragon的专栏
11-13 1057
tranquility 配合 index_realtime (备份，窗口等)完成实时数据流的持久化，查询等处理 形象类比入门 因为druid.io源码不少类都用了【消防】相关的术语，所以类比下是有必要的，阅读源代码也会相对容易一点。其中【消防员】这个角色尤为重要，负责了主要的接【消防水带】，开【消防栓】灭火工作。 【实时数据】 —> 水流 ----> 数据来源 【处理任务主体对象】—>【消防员】----> 核心处理 【持久化】—> [要灭的火] —> 数据落地 大体流程
canal.adapter 运行异常： com.alibaba.druid.pool.DruidDataSource 解决办法
04-11
将 client-adapter.es7x-1.1.5-jar-with-dependencies.jar 替换plugin下的jar可以解决druid报错问题，注意版本1.1.5，不是这个版本不一定能解决
Druid.io系列（三）： Druid集群节点
热门推荐
njpjsoftdev的博客
10-28 1万+
Druid集群节点
Druid.io 查询分时段指标
dinghua_xuexi的专栏
05-22 468
{ "aggregations": [ { "fieldName": "unique_user", "type": "thetaSketch", "name": "new_user", "isInputThetaSketch": false, "size": 16384 } ], .
Druid Tranquility使用（上篇）
weixin_33714884的博客
08-02 460
2019独角兽企业重金招聘Python工程师标准>>> ...
Druid.io数据存储(segment文件)与特点
master-dragon的专栏
10-11 833
druid.io查询快？为什么快？怎么存？怎么写入？怎么查的？等等问题 segment文件 关于druid.io存储的底层segment文件格式可以参考：作者: 康凯森的Druid Storage 原理，写的挺不错的，不过最好还是自己去分析segment二进制文件，这样理解更深入，而这种存储方案说不定哪天我们就有借鉴意义。我补充如下，并回顾下自己的学习，感性认识下：列存储，倒排索引等概念 Segment由dataSource_beginTime_endTime_version_shardNumber唯一标
druid.io index_realtime任务的hand off：仍然是源码+log说清楚
master-dragon的专栏
11-16 757
目录前言源码 + log 说明流程总结 前言 之前的博文：Druid.io index_realtime实时任务源码分析 介绍了整个index_realtime任务运行的流程，但是对于某些细节还是没有从源码上分析的很透彻，本文将主要对hand off这个阶段进行主要分析，说清楚什么是hand off阶段，以及这个阶段做了什么工作 可以先看下官网文档介绍：https://druid.apache.org/docs/0.20.0/design/architecture.html#indexing-and-han
Druid.io index_hadoop
master-dragon的专栏
04-20 720
hadoop任务配置文档 map public abstract class HadoopDruidIndexerMapper<KEYOUT, VALUEOUT> extends Mapper<Object, Object, KEYOUT, VALUEOUT> @Override protected void map(Object key, Object value,...
druid.io 实时和离线任务使用的MiddleManager分离【工作总结】
master-dragon的专栏
03-23 669
首先做的是：实时和离线任务使用的MiddleManager分离；不过后面发现可以做出各种定制化方案，已确保重要任务，大任务也能隔离 实时和离线任务的区别 影响不一样 离线挂了，只要上游hive表数据有，可以立刻再重来一次；实时挂了，可能就出现丢/重的问题了，并且由于是实时查询，可能一大波实时因此而查询失败，严重影响用户体验 底层实现不一样 最大的区别： 实时任务既要负责实时数据导入，又要负...
【项目总结】数据处理服务中间层系统
master-dragon的专栏
03-14 650
回忆下算法的几个特征： 有穷性（Finiteness） 算法的有穷性是指算法必须能在执行有限个步骤之后终止； 确切性 (Definiteness) 算法的每一步骤必须有确切的定义； 输入项 (Input) 一个算法有0个或多个输入，以刻画运算对象的初始情况，所谓0个输入是指算法本身定出了初始条件； 输出项 (Output) 一个算法有一个或多个输出，以反映对输入数据加工后的结果。没有输出的算法是...
package day0608.utils; import com.alibaba.druid.pool.DruidDataSource; import com.alibaba.druid.pool.DruidDataSourceFactory; import javax.sql.DataSource; import java.io.IOException; import java.io.InputStream; import java.util.Properties; /** * 连接池工具类
最新发布
06-10
这是一个连接池工具类的代码，它使用阿里巴巴的Druid连接池来实现数据库连接的复用，避免频繁地创建和关闭数据库连接。通过读取配置文件中的数据库连接参数，创建Druid数据源，并通过数据源获取数据库连接。在使用完成后，需要将连接关闭并归还给连接池。以下是代码的详细解释： 1. 导入Druid相关的类和接口 ```java import com.alibaba.druid.pool.DruidDataSource; import com.alibaba.druid.pool.DruidDataSourceFactory; import javax.sql.DataSource; import java.io.IOException; import java.io.InputStream; import java.util.Properties; ``` 2. 创建连接池工具类 ```java public class ConnectionPoolUtil { private static DataSource dataSource; static { try { // 读取配置文件 InputStream inputStream = ConnectionPoolUtil.class.getClassLoader().getResourceAsStream("druid.properties"); Properties properties = new Properties(); properties.load(inputStream); // 创建Druid数据源 dataSource = DruidDataSourceFactory.createDataSource(properties); } catch (Exception e) { e.printStackTrace(); } } // 获取数据库连接 public static Connection getConnection() throws SQLException { return dataSource.getConnection(); } // 关闭数据库连接 public static void closeConnection(Connection conn, PreparedStatement pstmt, ResultSet rs) { try { if (rs != null) { rs.close(); } if (pstmt != null) { pstmt.close(); } if (conn != null) { conn.close(); } } catch (SQLException e) { e.printStackTrace(); } } } ``` 3. 使用连接池工具类 ```java public class MyDao { public List<User> getAllUsers() { Connection conn = null; PreparedStatement pstmt = null; ResultSet rs = null; List<User> userList = new ArrayList<>(); try { // 获取数据库连接 conn = ConnectionPoolUtil.getConnection(); pstmt = conn.prepareStatement("SELECT * FROM user"); rs = pstmt.executeQuery(); // 处理查询结果 while (rs.next()) { User user = new User(); user.setId(rs.getInt("id")); user.setName(rs.getString("name")); user.setAge(rs.getInt("age")); userList.add(user); } } catch (SQLException e) { e.printStackTrace(); } finally { // 关闭数据库连接 ConnectionPoolUtil.closeConnection(conn, pstmt, rs); } return userList; } } ``` 以上是连接池工具类的基本实现，可以在多线程环境下安全地使用。同时，Druid还提供了很多其他的功能，例如监控、防御SQL注入攻击等，可以根据实际需求进行配置和使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值