sysu_lluozh-CSDN博客

原创【性能调优】一次监控数据错误的性能调优经历

针对自建存储服务的回调接口调优时，qps一直卡在1w，但是从各种监控和分析并未找到性能瓶颈，最后发现竟然因为数据库cpu监控不准备误导，特此记录整个调优的过程一、源码分析回调接口源码性能分析：1次redis查询2次db操作，其中1次查询，1次写入操作5次本地缓存读取1次外部接口调用其中最大的性能瓶颈很有可能在db操作中二、资源配置服务配置mysql一主一从 16c 128gredis16g 8节点callback服务2c 4g三、试验分析接

2021-05-24 00:09:16 3600 4

原创【Redis】技术评审要点

针对redis在技术方案评审或测试方案设计时的一些注意要点一、大key1.1 定义单个简单的key存储的value很大hash、set、list中存储过多的元素1.2 场景热门话题下评论、答案排序场景大V的粉丝列表使用不恰当，或者对业务预估不准确、不及时进行处理垃圾数据等1.3 风险：单个size太大，并发高容易把redis带宽打满读写大key会导致超时严重，甚至阻塞服务如果删除大key或者自动过期，DEL命令可能阻塞Redis进程数十秒，使得其他请求阻塞redis是

2021-05-23 01:38:16 2822

原创【网络协议】mysql协议数据包分析

使用tcpdump抓取应用层mysql协议的数据包，然后使用wireshark工具对mysql协议数据包进行分析一、tcpdump数据包可以通过端口规则或mysql规则抓取对应的mysql数据包，接下来通过端口规则限定抓取mysql的数据包1.1 查看mysql的端口jdbc:mysql://swqa.lluozh.com:3487/lluozh?characterEncoding=UTF-8即显然当前数据库的端口为34871.2 tcpdump数据包根据端口信息抓取对应的数据包tcpdu

2021-05-22 01:48:11 4962 6

原创【网络协议】tcpdump抓包

一、简介tcpdump根据使用者的定义对网络上的数据包进行截获的包分析工具，用简单的话来定义：dump the traffic on a networktcpdump可以将网络中传送的数据包的"头"完全截获下来提供分析支持针对网络层、协议、主机、网络或端口的过滤，并提供and、or、not等逻辑语句去掉无用的信息tcpdump基于底层libpcap库开发，运行需要root权限二、抓包原理Linux抓包是通过注册一种虚拟的底层网络协议来完成对网络报文(准确的说是网络设备)消息的处理权当网卡

2021-05-17 08:48:42 3509 4

原创【性能调优】单接口性能调优预备阶段

一、现状在性能测试一开始就针对全接口全场景进行性能压测并调优，如果再加上对业务代码不熟悉，基本上就是熟悉的尴尬场景：阶梯递增并发线程数获得服务性能拐点调整服务端数据库连接池配置调整JVM中新生代老年代等配置优化监控获得的慢sql语句利用工具分析线程堆栈信息不了解业务逻辑，不了解具体代码实现，基本上这些招数使用后对于性能优化就毫无头绪且无能为力了接下来看看调优从开始准备到调优完成整个流程中更为有针对性的方式，需要在调优前更加充分的准备，更加深入的分析业务实现代码，且提前预估性能风险点，有利

2021-05-06 20:09:51 2782

原创【Furion】JMeter+Influxdb+Grafana压测监控

一、概述在使用JMeter做性能测试时，需要查看压测过程中请求的响应情况，如需要实时显示20w qps的压测数据监控，接下来使用JMeter+Influxdb+Grafana方案打造压测可视化实时监控数据流程JMeter引入Backend Listener，用于在压测过程中实时发送统计指标数据给时序数据库Influxdb,通过配置Grafana数据源连接到Influxdb，就可以创建炫酷的可视化看板，并实时获取到测试指标数据流程图...

2021-03-09 08:31:54 3162

原创【性能概念】理发店模型

理发店模型，可以很好的用来理解很多性能测试的概念和理论，以及一些测试中遇到的问题将抽象的概念具体化，结合实际，通过理发店模型理解系统的性能和并发处理一、模型假设在这个理发店中，事先做如下的假设：理发店共有3名理发师每位理发师剪一个头发的时间都是1小时顾客们对于每次光顾理发店时所能容忍的等待时间+剪发时间是3小时，而且等待时间越长，顾客的满意度越低。如果3个小时还不能剪完头发，我们的顾客会立马生气的走人二、场景构建2.1 场景1理发店内只有1位顾客有1名理发师为他提供服务，另外2位

2021-02-23 08:35:28 1655

原创【Furion】平台架构演进

Furion平台是一个提供并发压力、性能结果分析、容量测试及基准测试的性能平台接下来mark以下Furion平台的架构演进一、单机模式优势：操作简便、无需环境部署直接使用jmeter编辑jmx文件，然后发起流量压测，不足：能提供发起的压力有限比如2c的机器在提供qps600的压力时CPU已经基本跑满垂直扩容压力非线性垂直扩容为4c甚至8c、16c，由于端口、带宽等方面的影响，能提供的压力并不是线性比例关系垂直扩容成本高分布式模式服务端架构分布式设计支撑大并发业

2021-02-04 08:27:49 6266 4

原创【用例设计】接口用例设计

在接口测试过程中，用例设计是关键中的关键，需要重点关注的一些维度接口测试什么是接口接口就是内部模块对模块，外部系统对其他服务提供的一种可调用或者连接的能力的标准，所谓的接口是模块与模块之间的一种连接接口测试上图为一个典型的接口，一个接口通常是有输入输出的，输入就是我们常见的入参，输出有时有，有时没有。调用相关接口，接口会执行相关处理逻辑接口测试的用例设计，主要从输入和接口处理两方面考虑：针对输入，可按照参数类型进行设计针对接口处理，可按照逻辑进行用例设计针对输出，可根据结果进行分析设计

2021-01-10 23:28:59 4878 6

原创【调优案例】调优问题总结

数据库索引 – 扫描行数、慢查询查询sql语句连接池 – initial-size、max-active、min-idle testOnBorrow testWhileIdle主库从库配置JVMfgc和ygc频繁 – -Xms、-Xmx、Xmnredis缓存穿透 - 缓存过期时间连接池配置min-idle、max-idle大key 热key日志锁争抢异步、logback、log4j2、入参打印开关服务dubbo连接池配置 dubbo.protocol.threads – 线

2020-11-13 21:03:42 3237

原创【场景构造】并发抢答场景

在做一个项目的性能测试时，涉及抢答场景，大致的场景故事为：教师出一道题，班级中所有学生进行抢答，抢答后教师关闭抢答那如何使用jmeter构建多个角色处理不同但相关的事情呢？方案一：不同角色使用不同线程组发起请求难点：如何教师角色的线程组执行后，学生角色的线程组再执行即使解决问题1但是如何循环多次同步执行由于问题2解决成本大而且造成执行事务复杂化，故该方案不可行方案二：在同一个线程组中，通过变量控制不同线程的执行角色通过计数器控制器使用时所有用户即所有线程都共享的方式按照顺

2020-11-12 09:20:38 2129

原创【mysql调优】数据库连接池配置优化

在性能调优过程中，通过监控数据经常发现接口花费大量时间在获取数据库连接中，那如何通过优化数据库连接池的配置来优化服务的性能呢？什么是数据库连接池创建数据库连接是一个很耗时的操作，也容易对数据库造成安全隐患。所以，在程序初始化的时候，集中创建多个数据库连接，并把他们集中管理，供程序使用，可以保证较快的数据库读写速度，还更加安全可靠官方解释：数据库连接池（Connection pooling）是程序启动时建立足够的数据库连接，并将这些连接组成一个连接池，由程序动态地对池中的连接进行申请，使用，释放。

2020-03-27 23:02:23 7225

原创【调优工具】线程快照分析

在性能调优的时候，apm监控可以看到一直卡在mysql的DruidDataSource.getConnection()这个时候数据库的资源使用情况cpu、内存、网络均正常，dubbo容器的cpu等资源也正常抓取线程快照查看线程为何一直处于数据库等getConnection获取线程快照在服务端连续三次将线程快照down下来，命令如下jstack pid > 文件名.txtpid为需要抓取的进程数抓线程快照，必须是在加压，且压到出现问题时抓取，连续抓取3~5次有两种方式可以分析

2020-03-27 13:46:43 5136 2

原创【Java】Java8中的Stream

一、Stream的理解Stream是用函数式编程方式在集合类上进行复杂操作的工具，其集成了Java 8中的众多新特性之一的聚合操作，开发者可以更容易地使用Lambda表达式，并且更方便地实现对集合的查找、遍历、过滤以及常见计算等在Java8中Stream API作为数据渠道，用于操作数组或者集合等数据源。流本身是不存储数据的，只是移动数据，在移动过程中可能会对数据进行过滤，排序或者其它操作，但是，大多数情况下，流操作本身不会修改数据源，比如，对流排序不会修改数据源的顺序。它只是会创建一个新的流，其中包含

2022-05-12 08:26:16 1061

原创【测试之道】测试发展之路

一、测试团队面临的困局随着互联网的发展，持续集成及DevOps等软件工程方法的提出和普及，软件测试技术也发生了很大的变化。自动化测试、敏捷测试和测试左移等方法论被广泛应用于实践，研发团队对测试技术和测试团队有更高的期待。与此同时，测试团队也面临着不少的困难，其中具有普遍性的有：测试自动化难自动化测试程序编写成本高、执行成本高、维护成本高。测试的技术债在业务高速发展的过程中越积越多：一边修复老的用例，另一边出现新的失败用例一边补充自动化，另一边又因为项目的时间压力遗留了未自动化的用例一些可

2022-05-12 00:38:28 7510

原创【python】datetime模块计算时间差

一、问题背景最近有小伙伴反馈接口平台的测试计划执行耗时显示有误，比如执行实际时长超过10s，但是报告中显示总耗时小于1s显示耗时统计出现问题二、问题排查开始和结束时间是否有误开始时间：2022-04-24 10:51:23.677632结束时间：2022-04-24 10:51:35.713161可见起止的时间获取没有问题计算方式round((end_time-start_time).microseconds/1000000, 2)计算结果0.04s接下来看看为什么这样的计

2022-04-24 12:07:40 9948

原创【算法】快速排序

快速排序(Quicksort)，又称划分交换排序(partition-exchange sort)算法思想采用"分而治之"的思想，把大的拆分为小的，小的拆分为更小的。对于给定的记录，选择一个基准数，通过一趟排序将要排序的数据分割成独立的两部分，其中一部分的所有数据都比另外一部分的所有数据都要小，然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列实现逻辑设当前待排序序列为R[low:high]，其中low ≤ high，如果待排序的序列规模足够小，则直

2022-03-18 09:12:35 512

原创【python基础】collections的使用

Python的数据类型有list, tuple, dict, str等，collections是实现特定目标的容器，以提供Python标准内建容器dict , list , set和tuple的替代选择Counter字典的子类，提供了可哈希对象的计数功能OrderedDict字典的子类，保留了他们被添加的顺序defaultdict字典的子类，提供了一个工厂函数，为字典查询提供了默认值namedtuple创建命名元组子类的工厂函数deque类似列表容器，实现了在两端快速添加(append

2022-03-16 08:59:06 833

原创【python基础】reverse和reversed函数及使用

一、reversereverse()是python中列表的一个内置方法(在字典、字符串和元组中没有这个内置方法)，用于列表中数据的反转例子：lista = [1, 2, 3, 4]lista.reverse()print(lista)打印结果：[4, 3, 2, 1]其实，lista.reverse()操作的返回值是一个None，其作用的结果需要通过打印被作用的列表才可以查看出具体的效果二、reversedreserved()是python内置函数之一，其功能是对于给定的序列(包括列

2022-03-12 14:55:58 53967 1

原创【Java】spring事务的实现方式

一、编程式事务管理编程式事务管理，在代码中调用commit()、rollback()等事务管理相关的方法maven pom.xml文件<dependency> <groupId>org.springframework</groupId> <artifactId>spring-beans</artifactId> <version>4.2.4.RELEASE</version></dependency&

2022-03-12 01:00:57 2925 2

原创【架构】IO多路复用

服务器端编程经常需要构造高性能的IO模型，常见的IO模型有：同步阻塞IO(Blocking IO)传统的IO模型同步非阻塞IO(Non-blocking IO)默认创建的socket都是阻塞的，非阻塞IO要求socket被设置为NONBLOCKIO多路复用(IO Multiplexing)经典的Reactor设计模式，有时也称异步阻塞IO，Java中的Selector和Linux中的epoll都是这种模型异步IO(Asynchronous IO)经典的Proactor设计模式，也称为异步非

2022-03-10 00:46:55 194

原创【架构】RPC框架的原理

一、为什么要有RPC随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，需要一个治理系统确保架构有条不紊的演进单一应用架构当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本此时，用于简化增删改查工作量的数据访问框架(ORM)是关键垂直应用架构当访问量逐渐增大，单一应用增加机器带来的加速度越来越小，将应用拆成互不相干的几个应用，以提升效率。此时，用于加速前端页面开发的Web框架(MVC) 是关键分布

2022-03-08 23:31:56 620

原创【质量】如何衡量测试用例质量

测试用例的标准不能局限于一个层次，因为测试用例设计类似于软件设计，软件设计有架构设计(结构设计/概要设计)和详细设计，所以对于测试用例的质量标准，也应分为两个层次来考虑：高层次——满足某一个测试目标或测试任务来整体看测试用例，衡量一组测试用例的结构、设计思路和覆盖率等指标低层次——从单个测试用例看，衡量其描述的规范性、可理解性和可维护性等指标一、高层次(high-level)标准高层次标准是从满足某一个特定的测试目标出发来进行定义，分析一组测试用例的设计思路、设计方法和策略，包括测试用例的层次、

2022-03-07 09:13:31 1481

原创【MySQL】性能分析Explain

一、MySQL性能优化1.1 MySQL Query Optimizer的作用MySQL中有专门负责优化SELECT语句的优化器模块，主要功能：通过计算分析系统中收集到的统计信息，为客户端请求的Query提供他认为最优的执行计划ps：MySQL认为最优的数据检索方式，但不见得是DBA认为是最优当客户端向MySQL请求一条Query命令解析器模块完成请求分类区别出是SELECT时并转发给MySQL Query OptimizerMySQL Query Optimizer的处理过程

2022-03-05 13:16:18 964

原创【性能调优】调优的常见思路和方法

在通过工具得到异常指标，初步定位瓶颈点后，如何进一步进行确认和调优？在这里提供一些可实践、可借鉴、可参考的性能调优套路，即：如何在众多异常性能指标中，找出最核心的那一个，进而定位性能瓶颈点，最后进行性能调优以下会按照代码、CPU、内存、网络、磁盘等方向进行组织，针对某一个优化点系统的套路总结，便于思路的迁移实践一、应用代码相关遇到性能问题，首先做的是检查否与业务代码相关——不是通过阅读代码解决问题，而是通过日志或代码，排除掉一些与业务代码相关的低级错误性能优化的最佳位置是应用内部，比如：查看业务

2022-03-04 10:18:17 2216

原创【性能测试】常见的性能测试指标

从性能测试分析度量的角度，性能指标的维度如下：系统性能指标资源性能指标中间件指标数据库指标稳定性指标可扩展性指标可靠性指标接下来从各自维度常见指标及指标含义看看各个性能测试指标一、系统性能指标系统性能指标，常见的有如下几类：响应时间系统处理能力吞吐量并发用户数错误率1.1 响应时间响应时间，简称RT指系统对请求作出响应的时间，可以理解为用户从客户端发起一个请求开始，到客户端接收到从服务器端返回的响应结束，整个过程耗费的时间直观上看，这个指标与人对软件性能的主观感

2022-03-02 20:28:53 15856 1

原创【JMeter】JMeter的工作原理

一、JMeter简介JMeter是Apache组织开发的基于Java的开源的压力测试工具、接口测试工具可以模拟高并发和多次循环的测试场景，能够对HTTP和FTP服务器进行压力和性能测试，也可以对任何数据库进行同样的测试，具有可移植性二、压测的原理性能测试的核心三原则：基于协议，多线程，场景模拟基于协议基于应用层和传输层的各种协议，比如http、udp、ftp和tcp等多线程通过进程下启动线程的方式来模拟并发用户实现负载场景模拟通过模拟用户使用的真实场景，来提高性能测试的准确性J

2022-03-02 10:02:45 6505

原创【性能测试】构造性能测试的数据

关于如何准备性能测试数据，可能出现不少的问题，比如：数据量不足导致性能表现非常好，忽略了一些潜在性能问题数据分布不合理导致测试结果与线上差异较大，又要推到重来总结下经验，把测试数据准备分为两类数据：铺底数据和参数化数据什么是铺底数据？一般情况下，产品上线后数据量是不断增加和累计的过程。刚上线时，数据量较少，数据库查询及更新速度快，服务响应及时性较好。随着数据量的累积，数据量不断增加和膨胀，系统的操作响应时间会随着数据量的不断增加而变得越来越长。所以，在性能测试模拟时，要考虑一定规模

2022-03-02 00:52:57 2344

原创【python】Flask之获取请求参数

request对象是从客户端向服务器发出请求，包括用户提交的信息以及客户端的一些信息。客户端可通过HTML表单或在网页地址后面提供参数的方法提交数据，然后通过request对象的相关方法来获取这些数据Flask框架中的request对象保存了一次HTTP请求的一切信息，常用的方法如下：如果是json格式的请求数据，则可以采用request.data来获取请求体的字符串如果是form表单的请求体，则可以使用request.form来获取参数如果是url参数，例如：url?param1=xx&amp

2022-02-28 23:36:33 6948

原创【python】Flask之session使用

一、session机制1.1 session的作用由于http协议是一个无状态的协议，但网站基本上有登录使用的功能，这要求有状态管理，而session机制实现的就是这个功能session基于cookie实现，保存在服务端的键值对(形式：{随机字符串：'xxxxxx'}), 同时在浏览器中的cookie中也对应一相同的随机字符串，用来再次请求的时候验证1.2 实现的原理用户第一次请求后，将产生的状态信息保存在session中，可以把session当做一个容器，保存了正在使用的所有用户的状态信息，这

2022-02-28 08:49:20 7303

原创【python】Flask之模板引擎

一、模板介绍1.1 视图函数视图函数的主要作用是生成请求的响应，实际上视图函数有两个作用：处理业务逻辑返回响应内容在大型应用中，把业务逻辑和表现内容放在一起，会增加代码的复杂度和维护成本1.2 模板文件按照一定的规则书写的展示效果的HTML文件其实是一个包含响应文本的文件，其中用占位符(变量)表示动态部分，告诉模板引擎其具体的值需要从使用的数据中获取1.3 模板引擎负责按照指定规则进行替换的工具，使用真实值替换变量，再返回最终得到的字符串，这个过程称为’渲染’Flask使用Jinj

2022-02-26 16:21:15 1623

原创【python】Flask之蓝图Blueprint

一、蓝图介绍蓝图是Flask提供的一个类，其具备Flask核心对象的很多功能，最重要的就是注册路由，通过Flask的蓝图，可以把整个项目分成不同的模块并在不同的模块中增加不同的功能，可以在一个应用或跨越多个项目共用蓝图使用蓝图可以简化大型项目的开发难度，为Flask扩展了一种在应用中注册服务的集中式机制二、创建蓝图2.1 创建app.py作为Flask核心注意：蓝图的注册需要放到main中进行注册，否则会进行报错from flask import Flask, render_template,

2022-02-24 20:03:27 1798

原创【python】Flask之路由

一、关于路由所谓路由，就是处理请求URL和函数之间关系的程序根据例子看源码from flask import Flaskapp = Flask(__name__)@app.route('/')def index(): return 'hello world!'if __name__ == '__main__': app.run()Flask中对URL规则进行统一管理的，创建URL规则有两种方式：使用@app.route修饰器传入URL规则作为参数，将函数绑定到

2022-02-24 19:59:39 3473

原创【python】Flask框架的基本使用

一、Flask介绍Flask是一个基于Python开发并且依赖jinja2模板和Werkzeug WSGI服务的一个微型框架，对于Werkzeug本质是Socket服务端，其用于接收http请求并对请求进行预处理，然后触发Flask框架，开发人员基于Flask框架提供的功能对请求进行相应的处理，并返回给用户，如果要返回给用户复杂的内容时，需要借助jinja2模板来实现对模板的处理，即：将模板和数据进行渲染，将渲染后的字符串返回给用户浏览器“微”(micro)并不表示需要把整个Web应用塞进单个Pytho

2022-02-24 09:25:17 3273

原创【python】多线程和多进程的实现

一、什么是线程和进程对于操作系统而言，一个任务就是一个进程(Process)线程是操作系统能够进行运算调度的最小单位(程序执行流的最小单元)，它被包含在进程之中，是进程中的实际运作单位。一个进程中可以并发多个线程每条线程并行执行不同的任务(线程是进程中的一个实体，是被系统独立调度和分派的基本单元)每一个进程启动时都会最先产生一个线程，即主线程，然后主线程会再创建其他的子线程单个CPU可以执行多进程和多线程，即由操作系统在多个进程或者线程之间快速切换，使得每个进程或者线程短暂的交替运行，真正实现多线

2022-02-23 23:40:11 1111

django_demo.zip

JD-GUI.app.zip

evermeet.cx.ffmpeg

furion_grafana_v2.1.json

furion_grafana_v1.0.json

jmeter.backendlistener.kafka-1.0.4.jar

android-sdk-29.0.2

jca465.jar

空空如也