【Takin使用日记】记一次TransmittableThreadLocal引起的业务异常

于 2021-08-12 17:50:43 发布
阅读量330 收藏 1
点赞数
分类专栏： Takin应用 文章标签： 压力测试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shulieTech/article/details/119650089
版权

对于常见的WEB容器，Takin通过增强org.apache.catalina.core.StandardHostValve#invoke方法，拦截并解析方法入参的Request对象中的header数据，判断压测标的信息并将压测标以及链路信息设置到上下文对象，并通过ThreadLocal保存该上下文对象，以此来保证当前线程处理的过程中都能获取到压测标以及链路信息。
在这里插入图片描述

但是不管是WEB容器还是业务代码经常会使用线程池运行代码，这时候ThreadLocal就有局限性了，如何做到跨线程池传递我们的上下文对象就显得异常重要了，好在Alibaba的https://github.com/alibaba/transmittable-thread-local解决了这个问题，具体transmittable-thread-local的详细内容大家可以通过git地址查看，这里我们主要以git上的demo看看transmittable-thread-local如何实现跨线程传递的，主要通过将线程池运行的Runnable对象包装成TtlRunnable对象并保存当前的上下文信息。这样就完成了对线程池运行任务的压测标以及链路数据信息的透传，至此似乎一切都很完美。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

直到某次出现了一个诡异的现象，在使用Takin的过程中，有一应用接入Takin之后，某个功能无法正常使用，但是无论是应用的日志还是Takin的日志都未显示任何异常信息，再追问了无法使用的功能是一个线程池执行任务，当时扩展了ThreadPoolExecutor的beforeExecute方法和afterExecute方法，用以记录任务执行的耗时，并且会打印任务的taskId等信息，通过截图的Debug信息便可以看到问题出现了，由于使用了transmittable-thread-local导致原始的Runnable被包装成了TtlRunnable对象，在这个过程中如果业务想要再获取Runnable对象强转获取一些任务信息，就会出现类无法转换的异常。

解决方案的话目前可以通过增强beforeExecute和afterExecute方法，对Runnable对象进行判断，如果是TtlRunnable对象，则通过TtlRunnable.getRunnable()方法返回原是的Runnable对象

在这里插入图片描述
在这里插入图片描述

Takin开源详情https://news.shulie.io/?p=3024
立即扫码，入群技术交流～
在这里插入图片描述

TakinTalks稳定性社区
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
博客
test
04-15 797
我们重构了从监控数据的采集、处理到报警通知的整个流程，并建立了一个统一的监控平台。我们的主监控链路以红色标识，形成了新的系统核心，而原有的、现逐步淘汰的旧系统则以黑色表示。这次改造显著提升了从指标的统一性到轻量级存储方案的效率，降低了日志分类和存储成本，并聚合了Source、Trace、APM、Log等多样化的监控数据，实现了告警的统一处理。我们已经摆脱了依赖于Alertmanager的告警机制，转而使用了自主开发的告警系统，并对开源的报警工具进行了二次开发以满足我们的需求。监控的分类也已经大致完成。
博客
定位时长缩减90%：酷家乐如何提升系统故障根因分析准确率？
03-28 298
酷家乐监控负责人——少丰TakinTalks稳定性社区专家团成员，酷家乐监控负责人、技术专家。主要专注稳定性保障、新一代监控系统的研发工作。此前在诺基亚工作十年，先后参与和负责过诺基亚运营商通信系统、创新业务、基础设施架构、新一代Dev0ps平台方面的工作。温馨提醒：本文约6500字，预计花费12分钟阅读。TakinTalks稳定性社区后台回复 “交流” 进入读者交流群；回复“Q102”获取课件；2.2 图 - 魔方语言系统架构。
博客
日志资源成本减少 35%：新东方可观测体系改造如何降本增效？
01-25 843
TakinTalks稳定性社区专家团成员，新东方教育科技集团高级经理，SRE负责人。负责新东方全集团内业务运维保障工作。对保障SLA稳定性、可观测体系、云原生架构服务体系进行探索及落地，以平台化、标准化为理念完成降本、增效、安全的目标。
博客
货拉拉智能监控实践：如何解决多云架构下的故障应急问题？
01-11 1152
货拉拉监控平台负责人——柯圣TakinTalks 稳定性社区专家团成员，货拉拉监控平台负责人。曾任职于携程、饿了么的核心中间件团队，深入参与多个自研日志平台、监控平台、时序数据库等系統的研发，深耕可观测性领域近 10 年。目前在货拉拉技术中心负责整体监控体系与监控平台建设。温馨提醒：本文约 7500 字，预计花费 12 分钟阅读。「TakinTalks 稳定性社区」公众号后台回复 “交流” 进入读者交流群；回复“1221”获取课件；
博客
15 万字稳定性提升经验：《2023 下半年最佳实践合集》限量申领！
01-09 481
数字业务连续性最佳实践》一书深入探讨了数字化时代下业务连续性的核心问题，结合丰富的案例和实践经验，为您提供了全方位的最实用的方法和最佳的实践，专业性和实用性都非常高，是一本指导您在数字化时代保持业务连续性的必备指南！自从加入 TakinTalks 社区以来，与各位深受系统稳定性折磨的同行者一起，分享我们的经验教训和最佳实践，正如本书作者所述的那样，从战术到策略，系统性地给大家提供了参照物和手册，相信大家一起可以从基础的事情做起，共同提升中国软件公司的系统治理水平。进入榜单者，可获赠 1 本。
博客
Prometheus+Grafana：转转如何打造开箱即用的一体化监控系统？
12-28 1013
转转存储服务负责人——苑 冲TakinTalks稳定性社区专家团成员，转转存储服务负责人，负责消息中间件（MQ）、键值（KV）存储、Redis、监控系统、KMS凭据管理系统、短信服务等。温馨提醒：本文约7000字，预计花费10分钟阅读。后台回复 “交流” 进入读者交流群；回复“1214”获取课件；首先，在架构方面，我们采取了服务直接使用Push模式推送数据到M3DB，而中间件则使用Pull模式，通过Prometheus HTTP服务发现机制来实现。
博客
如何做到人均告警减少 90%？B 站新一代告警平台的设计与实践
12-15 984
哔哩哔哩资深开发工程师——王程田TakinTalks 稳定性社区专家团成员，哔哩哔哩资深开发工程师。2020 年加入 B 站先后负责事件平台，链路追踪，AIOps 及告警平台方向技术演进 &平台迭代。完成了新一代告警平台落地，达成了 99 分位一分钟内的异常端到端发现，实现了人均告警从每周 1000+条/人到 70+条/人告警治理上的突破。温馨提醒：本文约 6000 字，预计花费 8 分钟阅读。TakinTalks稳定性社区后台回复 “交流” 进入读者交流群；回复“1130”获取课件；
博客
去哪儿如何实现故障率降低 65%？技术 + 管理的数字化度量体系实践
12-07 883
去哪儿网基础研发产品总监——陈靖贤TakinTalks 稳定性社区专家团成员，去哪儿网基础研发产品总监。2013 年加入去哪儿网，曾任职于摩托罗拉、索尼移动通信。多年来深耕于 DevOps、研发效能领域，致力于公司内部 DevOps 实践的落地实施，研发与交付流程的优化，工程效率平台工具的建设与推广，覆盖开发、测试、交付、运维研发生命周期全流程。全面系统提升研发效能，助力业务发展。温馨提醒：本文约 7000 字，预计花费 10 分钟阅读。
博客
七年 4 个阶段：滴滴可观测架构演进与实践
12-01 1048
在降低存储成本方面，VM 的表现较好，在我们的环境测试中，其存储成本只有 RRDTool 的 1/20 左右。同时，可观测性中的读写是正交的，读写优化存在冲突——写通常是所有曲线写入最新的部分，而读通常是读取多条曲线或某条曲线长时间的数据。在数据传输方面，我们的设计理念也是类似的，但有一点区别在于，传输和存储会用到不同的分片策略，这是因为它们的负载特性不同。例如，某个业务的传输量非常大，但存储查询的量却非常小，这种情况下，我们会在传输端对数据进行拆分，在存储端只需要保证数据的写入即可。
博客
去哪儿“技术债”偿还实践：如何高效、低风险砍掉50%无用代码?
12-01 896
最后，我想用一张图来做个总结。“给我一个 API，我就能减少一半的代码”。这句话主要是想引导大家进行深思，底层技术虽然可能看起来比较枯燥或者无趣，但其所能带来的价值却无比巨大。回顾整个项目，我们投入了大量的人力资源，涉及了诸多团队，最终成功减少了数千万行的线上代码。从技术角度来看，核心技术仅是使用了一个 JVM 工具的 API。然而从业务角度来看，这直接影响到了公司的服务质量、用户体验，乃至整个公司的效率和运营成本。
博客
故障发现、定位提效超 70%，去哪儿可观测体系做了哪些优化？
11-17 240
去哪儿网基础架构技术 TL——肖双TakinTalks 稳定性社区专家团成员。2018 年加入去哪儿网，目前负责去哪儿网 CI/CD、监控平台和云原生相关平台建设。期间负责落地了去哪儿网容器化平台建设，协助业务线大规模应用迁移至容器平台，完成监控系统 Watcher2.0 的改造升级和根因分析系统落地。对监控告警、CI/CD、DevOps 有深入的理解和实践经验。温馨提醒：本文约 7500 字，预计花费 12 分钟阅读。「TakinTalks 稳定性社区」公众号后台回复 “交流” 进入读者交流群；
博客
APM建设踩了哪些坑？去哪儿旅行分布式链路追踪系统实践
11-03 1157
在构建整个APM体系过程中，三个主要组件：日志收集组件、传输链路治理以及Flink任务性能优化。日志收集组件和传输链路治理主要解决日志大流量和并发的问题。在日志组件中，关注内部和外部内存的限制。在传输层，关注任务调度和集群性能优化。最后，分析了APM系统的价值和意义。每家企业都建设自己的APM系统，同时更需要深入挖掘其价值。APM系统的真正意义在于能够通过数据客观深入了解系统的性能。通过APM系统，可以优化系统的性能、提高用户体验、减少故障和降低潜在风险。
博客
“1-5-15”原则：中国联通数字化监控平台可观测稳定性保障实践
11-03 400
我们在各个数据中心和应用中进行整体的埋点，通过标识出不同的租户和系统间的关系，进行跨数据中心的分布式计算。当我们发现开户业务出现报错时，利用图数据库关系，从150个服务告警中，定位到是服务X出了问题，继续通过核密度估计算法和DBSCAN聚类算法，判定该服务的3个实例中，是实例x3出现了问题。因此，有了这样的关联，可以通过指标发现问题，通过链路定位问题，并通过报文和日志判断问题的根因。例如，针对MySQL出现的采集情况，只需要用户输入MySQL的IP和端口，和只读用户的密码，就可以进行MySQL的指标采集。
博客
SRE实战：如何低成本推进风险治理？稳定性与架构优化的3个策略
10-11 444
数列科技联合创始人、CTO——陆学慧TakinTalks 稳定性社区发起人。参编《信息系统稳定性保障能力建设指南 1.0》和《稳定性保障服务商能力要求》。2017 年联合创立数列科技，专注于高可用性领域，为企业提供稳定性解决方案，帮助快速稳定地应对技术挑战。温馨提醒：本文约 5000 字，预计花费 9 分钟阅读。「TakinTalks 稳定性社区」公众号后台回复 “交流” 进入读者交流群；回复“0926”获取课件资料；先解释一下什么是经验库。
博客
亿级月活的社交 APP，陌陌如何做到 3 分钟定位故障？
08-24 218
挚文集团基础平台技术总监——童子龙TakinTalks 社区特邀讲师。2022 年加入挚文集团，目前负责陌陌和探探的基础平台部门，包含基础架构、中间件、监控、系统平台等团队。曾就职于腾讯云中间件团队任职技术专家，腾讯云微服务 TSF 开源社区 Founder，专注于微服务治理、基础架构、精益管理、云计算及分布式中间件技术等。温馨提醒：本文约 7500 字，预计花费 13 分钟阅读。「TakinTalks 稳定性社区」公众号后台回复 “交流” 进入读者交流群；回复“0809”获取课件资料；
博客
如何从用户视角搭建可观测体系？阿里云ECS业务团队的设计思路
08-24 215
阿里云高级技术专家——杨泽强（竹涧）TakinTalks 社区专家团成员，多年云计算领域研发经验，在阿里先后参与集团 DevOps 平台、弹性计算核心管控以及 SRE 工程相关研发，当前在弹性计算团队从事研发工作，主要负责弹性计算稳定性架构与智能运维平台建设。温馨提醒：本文约 8000 字，预计花费 15 分钟阅读。「TakinTalks 微信公众号」后台回复 “交流” 进入读者交流群；回复“可观测”获取相关资料；从业务视角来看，我认为标准化是一个重要的趋势。
博客
阿里云故障洞察提效50%，全栈可观测建设有哪些技术要点？
08-24 157
阿里云智能技术专家——曾庆国（悦达）TakinTalks 社区专家团成员。KubeVela 社区 Maintainer。长期从事云原生可观测、应用持续交付、基础设施管理等云原生领域，积累大量基于 Kubernetes 的云原生应用管理平台建设经验和可观测领域实践经验。曾帮助工业互联网、金融和企业办公等多个行业头部用户完成云原生 DevOps 转型。ArchSummit、Gopher、SDCon、A2M 等大会讲师。温馨提醒：本文约 8000 字，预计花费 15 分钟阅读。
博客
月活近千万，连续 365 天无故障：货拉拉怎么做稳定性指标度量？
08-24 223
货拉拉技术稳定性团队负责人——李全TakinTalks 社区特邀讲师。2021 年加入货拉拉，现任货拉拉技术稳定性团队负责人，主导了公司技术稳定性体系从 0 到 1 的建设，也曾作为核心成员深度参与了阿里本地生活技术风险体系建设，在应急响应、变更管控、大促保障等稳定性领域有丰富经验。温馨提醒：本文约 5500 字，预计花费 11 分钟阅读。后台回复 “交流” 进入读者交流群；回复“0607”获取课件资料；1）目标明确在每个指标被定义出来之后，反问自己这么一句话：指标定义出来到底是想要做什么？
博客
月近万次发布，故障率＜4‰如何做到？去哪儿测试左移重难点揭秘！
06-25 197
去哪儿网测试开发专家——鲁国宁TakinTalks 社区专家团成员。2019 年加入去哪儿网，负责测试流程的治理和测试工具建设。主导/参与建设的平台有自动化测试、全链路压测、代码覆盖率、Mock 平台、智能推荐等。曾先后就职于京东商城、海尔集团等，擅长性能压测平台建设，并实现近亿级 QPS 压测，曾多次为 618、双 11 等重要活动保驾护航；温馨提醒：本文约 4500 字，预计花费 8 分钟阅读。后台回复 “交流” 进入读者交流群；回复“5132”获取课件资料；
博客
如何在金融企业推进故障演练？中国人寿分阶段实践总结
05-18 247
中国人寿研发中心高级工程师——刘玢TakinTalks社区专家团成员。拥有多年开发和运维经验，专注高可用领域，目前负责中国人寿混沌工程等多项高可用举措的规划和落地实施，对于构建高可用系统具有深入的理解和实践经验。温馨提醒：本文约4600字，预计花费9分钟阅读。后台回复 “交流” 进入读者交流群；回复“0426”获取课件资料；
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值