Apache ShardingSphere (Incubating)性能监控指南

最新推荐文章于 2023-04-10 17:20:22 发布
最新推荐文章于 2023-04-10 17:20:22 发布
阅读量1.7k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ShardingSphere/article/details/99317356
版权

作者

张永伦，京东数科高级软件工程师，Apache ShardingSphere (Incubating) PPMC。长期从事分布式系统的高可用、高并发相关工作。热衷于网络IO、性能优化方面的技术挑战。目前专注于Sharding-Proxy的持续优化和APM的开发工作。

640?wx_fmt=jpeg

看过《Apache ShardingSphere(Incubating)对接京东白条实战》的同学应该都了解，对接白条过程中遇到的问题几乎全部是借助于SGM来定位并解决的，可见性能监控的重要性。相对于商业化的SGM产品，ShardingSphere也提供了开源的解决方案。近期，ShardingSphere的性能监控能力又得到了一次加强，为用户提供了多样化的选择，在此一并总结一下。

概念

APM (Application Performance Monitoring)

APM(Application Performance Monitoring)是应用性能监控的缩写。目前APM的主要功能着眼于分布式系统的性能诊断，其主要功能包括调用链展示，应用拓扑分析等。

ShardingSphere并不负责如何采集、存储以及展示应用性能监控的相关数据，而是将SQL解析与SQL执行这两块数据分片的最核心的相关信息发送至应用性能监控系统，并交由其处理。 换句话说，ShardingSphere仅负责产生具有价值的数据，并通过标准协议递交至相关系统。Shard

最低0.47元/天 解锁文章
ShardingSphere
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Apache ShardingSphere实战与核心源码剖析
在青海看海的企鹅的博客
06-10 1043
Apache ShardingSphere实战与核心源码剖析 1.数据库架构演变与分库分表介绍 1.1 海量数据存储问题及解决方案 如今随着互联网的发展，数据的量级也是成指数的增长，从GB到TB到PB。对数据的各种操作也是愈加的困难，传统的关系性数据库已经无法满足快速查询与插入数据的需求。 阿里数据中心内景( 阿里、百度、腾讯这样的互联网巨头，数据量据说已经接近EB级) 使用NoSQL数据库, 通过降低数据的安全性，减少对事务的支持，减少对复杂查询的支持，来获取性能上的提升。 NoSQL并不是万能的
shardingsphere配置druid监控数据库配置
weixin_43925597的博客
03-01 948
Druid Shardingsphere 数据库监控
ShardingSphere实践（5）——性能测试
wzy0623的专栏
06-04 1169
从业务角度考虑，分为直连、单路由、主从、分库分表四个基本应用场景，对 ShardingSphere-Proxy 和 MySQL 进行性能对比。ShardingSphere官方文档中说明支持Sysbench和BenchmarkSQL 5.0，但是BenchmarkSQL 5.0本身不支持MySQL数据库（需要自行修改源码重新编译），因此别无选择只能使用Sysbench进行性能基准测试。 本次测试使用上篇“二、用例测试”的环境。BenchmarkSQL基准测试属于压测，为尽量减小复制延迟，将两个从
Sharding-Sphere 的应用性能监控实践
weixin_42073629的博客
06-20 629
1. Sharding-Opentracing简介 Sharding-Opentracing是Sharding-Sphere为大家提供的基于Opentracing规范的APM工具包。它采用发布 - 订阅式的组件通信机制实现了对核心链路方法的跟踪记录，包括sql解析路由方法、sql执行方法和结果归并方法。 Opentracing（https://github.com/opentracing）规范的产生，目的是为了解决不同的分布式追踪系统API不兼容的问题。它是一个轻量级的标准化层，位于应用程序/类库和追踪
ShardingSphere UI 初步体验
github_35735591的博客
08-28 631
在上两篇文章中，尝试了ShardingSphere JDBC和Proxy的相关功能，本篇进行探索ShardingSphere的UI组件部分
SkyWalking 基于 ShardingSphere-Proxy 的 MySQL-Sharding 分库分表的存储特性介绍
ShardingSphere官微
12-06 834
Apache SkyWalking 作为一个分布式系统的应用性能监控工具，它观察服务网格中的指标、日志、痕迹和事件。其中 SkyWalking OAP 高性能的数据流处理架构能够实时处理庞大的数据流量，但是这些海量数据的存储更新和后续查询对后端存储系统带来了挑战。SkyWalking 默认已经提供了多种存储支持包括 H2、OpenSearch、ElasticSearch、MySQL、TiDB、Po...
apache-shardingsphere-incubating-4.0.1-sharding-proxy-bin.tar.gz
05-13
在这个特定的版本"apache-shardingsphere-incubating-4.0.1-sharding-proxy-bin.tar.gz"中，我们主要关注的是Sharding-Proxy的部分，这是一个数据库代理层，允许应用程序通过标准的JDBC接口与分片集群进行交互。...
apache-shardingsphere-incubating-4.0.1-sharding-ui-bin.tar
08-12
apache-shardingsphere-incubating-4.0.1-sharding-ui-bin.tar
apache-seatunnel-incubating-2.3.1源码
05-25
在"apache-seatunnel-incubating-2.3.1源码"中，我们可以深入学习以下几个关键知识点： 1. **数据处理框架**：Seatunnel作为一个数据处理框架，它提供了多种数据处理和转换操作，如过滤、清洗、聚合等，帮助用户在...
如何利用 ShardingSphere 查看mysql分库分表下 SQL物理执行计划, 加上 skywalking 如何?
洪晓鸿
04-10 495
ShardingSphere 是一个中间件，它可能会对 SQL 执行计划产生一定影响。但是，通过查看每个分片的执行计划，您可以更好地了解查询在分片数据库中的性能表现，并据此对查询进行优化。 可以通过集成 SkyWalking 和 ShardingSphere 来实现对分库分表中分片执行情况的链路追踪
Sharding-Sphere成长记——写在分布式数据库代理端里程碑版本3.0.0发布之际
啊啊啊啊2
10-13 569
在历经八个月的紧张开发与精心打磨之后，Sharding-Sphere社区为程序员献礼，将Sharding-Sphere 3.0.0正式版于10月24日程序员节发布。在3.0.0发布之际，写下此文，与大家共同回顾这段充满纪念的时光，分享我们的前进历程。\u0026#xD;\n\u0026#xD;\n前序\u0026#xD;\n\u0026#xD;\n关注开源圈的同学可能知道，Sharding-Sph...
SpringBoot集成Druid+ShardingShare+监控
weixin_36808034的博客
05-22 2189
(1)引入pom <dependency> <groupId>com.alibaba</groupId> <artifactId>druid-spring-boot-starter</artifactId> <version>1.1.9</version> </dependency> (2)application.properties配置 server.port=8000 server.
Shardingsphere5.1.1 整合druid动态数据源
qq_45217345的博客
05-27 3716
数据库 SET FOREIGN_KEY_CHECKS=0; -- ---------------------------- -- Table structure for test_record -- ---------------------------- DROP TABLE IF EXISTS `test_record`; CREATE TABLE `test_record` ( `id` int(11) NOT NULL, `str` varchar(255) DEFAULT NULL,
MYSQLg高级------Sharding-JDBC 实现读写分离
热门推荐
沉淀、分享、成长，让自己和他人都能有所收获！
08-16 1万+
主服务器有一个binlog日志开启的功能他会记录所有增删改的操作，当主服务器进行相关的操作的时候 日志必定会记录他的操作；如果不为Yes，请排。2 、 Sharding-Proxy 独立应用，需要安装服务，进行分库分表或者读写分离配置，启动。（ 1 ）打开cmd窗口连接Sharding-Proxy，连接方式和连接mysql一样的。（ 2 ）连接本地 3306 的MySql数据库服务器，表已经创建出来，表里面有数据。4 、通过 cmd 连接 Sharding-Proxy ，进行创建表和添加记录操作。.....
Apache ShardingSphere-JDBC 性能监控实战
ShardingSphere官微
04-10 751
‍在业务系统越来越复杂的今天，用户对系统的运行性能越来越重视，需要对系统运行中的相关指标进行监控，实时获取监控指标信息，对相关问题进行监控预警，并结合业务分析定位出现的异常。我们知道 APM（应用性能监控）是通过对系统可观察性数据进行采集、存储和分析，进行系统的性能监控与诊断，主要功能包括性能指标监控、调用链分析，应用拓扑图等。一般通过 Metrics（指标监控）、Tracing（链路跟踪）、和 ...
Sharding-Proxy应用性能监控集成skywalking部署
vc33569的专栏
07-15 490
将skyworking服务下面的agent文件夹下所有文件复制拷贝到需要部署探针的sharding服务所在服务器。访问地址http//172.168.9.13518189/空的啥啥没有。远程拷贝探针文件至sharding-proxy所在服务器，文件路径保持一致。port18189#改下，8080。#skyworking服务部署文件路径。,在首行加入如下信息....
代码细节带来的极致体验，ShardingSphere 5.1.0 性能提升密钥
ShardingSphere官微
03-09 3364
前言在 Apache ShardingSphere 被广泛采用的同时，我们接到了部分用户的反馈，ShardingSphere 5.x 相比过去版本性能略有下降。在 5.0.0 正式版发布后...
ShardingSphere:SpringBoot2+MybatisPlus3+UI不分库只分表
12-24
ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈。它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成，shardingSphere定位为关系型数据库中间件。 Sharding-JDBCSharding-JDBC是Sharding-Sphere的第一个产品，也是Sharding-Sphere的前身，是当当网开源的一个产品。定位为轻量级的Java框架，在Java的JDBC层提供额外服务。 它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。他们均提供标准化的数据分片、读写分离、柔性事务和数据治理功能，可适用于如Java同构、异构语言、容器、云原生等各种多样化的应用场景。Sharding-JDBC可以通过Java，YAML，Spring命名空间和Spring Boot Starter四种方式配置，开发者可根据场景选择适合的配置方式。课程特色 本章节以尽量短的时间，为使用者提供最简单的ShardingSphere的快速入门。课程说明该课程属于系列课程，分为读写分离，分库不分表，不分库分表，分库分表，读写分离+分库分表共5个回合。本课程属于其中一个回合，请各位小哥哥们注意，课程的标题哦~
apache doris (incubating) 原理与实践
最新发布
07-31
Apache Doris（孵化器项目）是一个开源的分布式实时数据仓库，旨在提供高性能和可伸缩性的数据分析和报告能力。它的主要原理和实践如下： 1. 列式存储：Apache Doris使用列式存储来存储数据，即将每列的数据分开存储在不同的文件中。这种存储方式有助于提高数据的压缩率，减少存储空间的占用，并提高数据查询的效率。 2. 分布式架构：Apache Doris采用分布式架构，将数据分片存储在多个节点上，以实现数据的水平扩展和负载均衡。每个节点都有相同的数据副本，确保数据的高可靠性和容错性。 3. Write-optimized：Apache Doris采用了“write-optimized”（写优化）的设计理念，即将写入操作的性能优化至极致。它使用了基于LSM树（Log-structured Merge Tree）的数据结构，将写入操作顺序化和批处理，大大提高了写入性能。 4. 计算与存储分离：Apache Doris将计算和存储分离，通过多个计算引擎（如Palo，Spark）对数据进行分析和查询。这种架构允许根据需求进行灵活的扩缩容，并提供了多种数据接入和导出方式。 在实践中，可以按照以下步骤使用Apache Doris： 1. 安装和配置：首先需要下载和部署Apache Doris，然后进行相关配置，包括节点的IP地址、端口号、数据存储路径等。 2. 数据导入：将数据导入到Apache Doris中，可以通过多种方式，如使用ETL工具、使用JDBC驱动程序或通过API进行数据导入。 3. 数据模型设计：根据需求设计数据模型，包括表的结构、字段名和数据类型等。 4. 数据分片和分布：根据数据量和负载要求，将数据分片存储在不同的节点上，并确保数据的均衡分布。 5. 数据查询和分析：使用SQL语句对数据进行查询和分析，通过连接计算引擎对数据进行处理和计算，并根据需要生成相应的报表和图表。 6. 集群监控和管理：通过监控工具对集群进行实时监控，包括节点的状态、负载情况和性能指标等，及时发现和解决问题。 总之，Apache Doris通过列式存储、分布式架构、写优化和计算与存储分离等原理，提供了高效可靠的数据分析和报告能力。在实践中，可以根据需求进行安装配置、数据导入、数据模型设计、数据查询和分析，以及集群监控和管理等步骤。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值