泊涯

原创 PG 数据库服务磁盘空间占满问题处理

PG 数据库服务磁盘空间占满问题处理 前段时间客户运维人员报生产环境批处理数据库环境出问题，没办法正常运行，于是登录他们服务器，查看了PG日志文件，发现原来是磁盘空间满的原因： 接下来直接df -Th ，看到是home空间满，而我是PG的data文件都存在在home目录下，那应该是PG的数据文件空间占满了，但是系统才运行2年，磁盘空间配置将近900G，一下子就占满了，肯定是摸个程序代码突发性引起的，不然这系统运行2年多，一...

原创 非功能故障分析之安全故障导致CPU偏高排查

疫情期间我们要做好人身安全防护同时，信息系统服务器也要做好安防控制，不然还是会有不法分子趁机转空袭黑我们服务器， 问题原因： 2月28日下午临近六点时，开发人员突然发了截图给我说187服务器无法登陆，问我是否修改了密码，如下图一:（图一）想想这段时间除了安装验测运维监控工具有用到187服务，但是也是10天前的事情，但是没有去修改过密码，于是我也好奇登录下看看，发现...

原创 zabbix4.4 启动失败分析

zabbix是基于WEB界面提供分布式系统监视以及网络监视功能的企业级开源解决方案，能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。 做为开源用户的支持者，我们大部分环境用的软件包含监控软件、数据库、继承应用、操作系统等都是用开源的，例如centos、PG、zabbix、openshift等，但是开源的在成熟度上是不错，但是安装软...

原创 某大型项目性能测试监控分析流程

我们在做联机交易业务流程系统进行压力测试版本上线前压力测试时，一般先录制维护好脚本，设置好压测脚本场景，然后在进行压测。我们会对不同的业务流和各类涉及需要测试的功能交易进行压力测试，为了确保每个交易测试性能数据的准确性，不受前一次交易压测导致JVM内存使用问题导致影响本次交易测试，我们要求对不同交易每次压测做好内存回收到基线上，性能测试过程中有时为了确保每次压测性能指标不受上次躁数干扰，我...

原创 loadrunner性能测试实施步骤工艺

对于有若干个复杂的联机交易业务流管理系统的公司，公司内部测试团队对于性能测试实施管理方式都有一套轻量型的工作模式让新手借鉴学习，以便在实施压测类似系统过程中能快速上手，降低误差率和不必要的沟通管理成本，如下流程是我们在压测中编写的一套基本的LR工作实施工艺来让新手能快速熟悉，如下：一、录制维护脚本录制脚本前先手动熟悉功能。 录制脚本，如果功能比较简单，则放置action中；如果功能比较复...

原创 启动zookeeper报Error: JAVA_HOME is not set and java could not be found in PATH错误处理方法

--------- zookeeper 状态----------------------zookeeper启动--------------------zookeeper启动----------

原创 sqoop连接MYSQL报错处理

Sqoop远程连接MYSQL数据库报/apache/commons/lang/StringUtils错误

原创 Mysql启动报错：InnoDB: Operating system error number 13 in a file operation.的解决方法

MYSQL:Operating system error number 13 in a file operation.

原创 启动spark历史服务失败问题处理

启动spark历史服务失败问题处理

原创 启动hadoop服务报错

集群部署完hadoop和spark后，启动hadoop集群报如下错误：上一次登录：五 9月 15 15:32:56 CST 2023pts/0 上/home/bigdata/hadoop/libexec/hadoop-functions.sh:行398: 未预期的符号 `<' 附近有语法错误/home/bigdata/hadoop/libexec/hadoop-functions.sh:行398: ` done < <(for text in "${input[@]}";do'

原创 大数据下批处理性能问题分析优化分享

对于一个应用来说，为了让应用达到最好的性能和可扩展性，我们不仅仅要充分利用 CPU 周期内可用的部分，而且要让这部分 CPU 的使用更有价值，而不是浪费。对于一个大的任务，一般的做法是利用一个进程，串行的执行，如果系统资源足够，可以采用parallel技术，把一个大的任务分成若干个小的任务，同时启用n个进程/线程，并行的处理这些小的任务，这些并发的进程称为并行执行服务器(parallel executeion server)，这些并发进程由一个称为并发协调进程的进程来管理。值范围: 任何非零值。

原创 oracle表空间扩容

开发人员在导入表和数据时，反馈无法导入，提示ORA-27044:Unable to wirte the header block of fileLinux X86_64 Error 2:NO such file director查看了操作系统各路径文件空间，发现空间不足，查看了下因为之前上一任技术负责人在安装oracle时，存储数据文件没有专门创建一个大空间文件来存储，使用的是默认，导致随着时间推移，这两年各种数据库实例越来越多，最终空间不足加上home的空间也不足，开发人员也在申请需.

原创 ORA-12547: TNS:lost contact 问题处理

这段时间公司服务技术负责人离职，手头工作全部交接到我这边，仓促交接连个文档都没有，只能边看边学研究如何解决遗留问题，刚好一个开发人员在使用oracle客户端时突然说不能用了，我以为是后台服务出问题于是重启了下发现 提示：ORA-12547: TNS:lost contact，无法正常重启。通过查看oralce文件存储目录，发现设置的权限问题，重新赋权下，cd $ORACLE_HOME/bin[root@ap bin]# ls -l oracle-rwxr-x--x 1 dgss dgss 2

原创 rm -rf /var/lib/docker 设备或资源忙问题处理

在调试安装openshift时涉及安装docker和添加对应docker永久存储路径，在配置过程中因之前构建一键安装部署openshft集群出问题，导致重新设置过程中出现如下错误：[root@test-master ~]# rm -rf /var/lib/dockerrm: 无法删除"/var/lib/docker/containers": 设备或资源忙rm: 无法删除"/var/li...

原创 测试团队优化考核方案

IT测试也是一门技术，技术是一个手艺活，最好是技术能力比较强再转管理，水到渠成，技术不行的人即使转了管理，人家也可能不服,最终有些人做事敷衍了事，有时甚至变成曲未终人已散。因此在学会坐稳管理、提升个人技术能力进而提升个人管理影响力同时，也要学会规划好团建，把团队综合能力提升到一定程度，这样团队之间互助互进才能让有心工作的组员跟你一样在各自专业领域各有所长，互相影响互相提升视野。...

原创 Vmware 虚拟服务迁移后无法访问故障处理

微服务构建中，在做基础平台构建时，例如构建IAAS时，因服务扩容、缩减等可维护性问题需要迁移或者复制方式扩容方式来快速扩建集群节点等，提高微服务运营的可靠性、可用性等非功能性技术支持，而在实施过程中有时会碰到一些细节性技术问题尚未考虑到位导致迁移后不可用需要优化处理！，例如我们想把一个集群节点服务从一台物理机迁移到另外一台新购买的服务器上，以便扩容CPU和内存等，而因为迁移到新的硬件服务机器时物理...

原创 oracle性能诊断分析指标内容

对于数据库使用环境数据库在使用中出现的问题，可能由表空间、文件系统、数据文件、进程等组件当中的任意一个造成，甚至有可能是由于某一个SQL语句的性能太差造成系统性能问题。因此，当数据库出现问题，彻查问题的根本原因成为重复、繁杂的劳动，但是在排查问题前，身为性能测试技术人员先要了解用什么工具，明确监控哪些数据库性能指标，有的放矢，才有收获，如下oracle监控性能指标以及使用监控分析方法：...

原创 Loadrunner压测结果性能分析指标内容

事务分析内容： 用户事务分析是站在用户角度进行的基础性能分析。 1、Transation Sunmmary(事务综述) 对事务进行综合分析在一定测试时间内用户事务的成功与失败情况，判断系统是否正常运行。 2、Average Transaciton Response Time(事务平均响应时间) ...

原创 loadrunner 录制web脚本无法加载问题汇总

loadrunner 录制web脚本无法加载问题汇总我们在录制web脚本时，经常碰到录制的时候出现如下问题：1、loadrunner录制时，打开浏览器白屏问题；2、loadrunner录制时，没有录制到脚本问题；3、loadrunner录制时，不记录特定控件脚本问题；4、loadrunner录制时，录制过程中没有响应问题；5、loadrunner录制时，IE浏览器不弹...

原创 Elasticsearch安装配置及故障排查

搜索引擎使用就是对数据的检索，数据一般分为两种类型，结构化数据和非结构化数据，结构化数据：二维表结构数据，严格遵照数据的格式和长度规范，主要是通过关系型数据库进行存储和管理。非结构化数据：，不定长度和不固定格式，可以有办公文档、XML、HTML、Word 文档，邮件，各类报表、图片和咅频、视频信息等。对于结构化数据，我们一般使用oracle、mysql、postgres等来存储和检索。而非结构化...

原创 loadrunner参数化实战应用总结

在https://blog.51cto.com/372550/2417934 已讲解LR 参数化基本内容，而实际工作中参数化是一项对压测数据一致性、完整性、唯一性等非功能技术指标一项重要考核内容。 例如我们身份证、手机号、登录账户等唯一性、且之间也有关联关系，在如招行银行卡，一个人可以办理多张，但是可以用同一个手机号和身份证，在转账等可以在同一个APP切换转账，这时模拟不同虚拟用户，一...

原创 web型linux服务资源监控

全链路非功能测试_服务资源监控工具篇随着信息化建设的迅速发展，为了更好的、有效的保障系统上线后稳定高效运行，在上线前都会对其服务端进行各种压力测试，例如单交易负载测试、混合综合场景压力测试、稳定性测试、浪涌测试、端到端非功能测试等全链路非功能性测试，目的是为了在上线把各种怀疑性技术性问题等排查清楚。因此在最基本的全链路非功测试过程中，对于服务器的资源使用情况、带宽、网...

原创 LR基础知识之 协议使用演练

原创 Loadrunner工具入门介绍--持续更新

原创 Elasticsearch与Postgresql大数据检索性能对比与融合

Elasticsearch与Postgresql大数据检索性能对比与融合一般来说，影响数据库最大的性能问题有两个，一个是对数据库的读写操作，一个是数据库中的数据太大导致操作慢，对于前者我们可以适当借助缓存来减少一部分读操作，而针对一些复杂的报表分析和搜索可以交给hadoop和elasticsearch,对于写并发大，读也并发大，我们可以考虑分库分表，主从读写分离或者...

原创 413 Request Entity Too Large错误处理

起因说明：因业务要求，客户需要对以往客户进行阶段性做客户挖掘分析，分析内容包含，客户消费记录、消费内容、客户基本信息情况等行为操作进行分析，客户要求的前端展现行为分析方式是一个页面尽量展现越多的数据越好，因浏览器容量问题，最终跟客户协商一个页面展现2000行记录，四十个字段，而且展现的字段内容有问题反馈等文字描述性的内容，然后对该内容在进行更新提交给服务器，然后在查看更新结果，因提交和展现的页面...

原创 MYSQL工作原理与性能监控分析点说明

我们在性能测试监控MYSQL数据库时，作为专业非功能性测试人员，我们需要了解操作系统工作原理、业务实现架构逻辑、应用架构实现逻辑、数据库工作原理，才能真正的做好非功能性测试，而大部分业务型交易问题都是因为数据库问题原因产生的性能瓶颈，而更多数情况都是因为对数据库出现问题的情况和处理思路不清晰。在进行MySQL的优化之前必须要了解的就是MySQL的查询过程，也就是实际前端业务操作到从磁盘捞取...

原创 如何做一个高能量的IT测试职手

如何做一个高能量的IT测试职手 我们测试人生崇尚致力于实现质量@速度的宗旨而奋斗。 测试的价值不在于体现测试工程师的厉害，也不在于通过发现缺陷寻求满足感。在我看来，测试的价值就和其他所有组织内的岗位一样，是看你能否为组织产生可见的价值。你不是产品，但你知道产品是怎么工作的；你不是运营，但你知道用户关心什么；你不是开发，但你知道开发同事怎么工作；你不是设计，但你有你对交...

原创 生产运维资源监控之TOP介绍

            生产运维资源监控之TOP介绍在日常性能测试或者生产运维工作中为了保证业务的准确性和及时性等各项业务与技术指标能满足日常操作与稳定运行，一般在工作工作会使用一些简易命令工具协助排查问题，例如排查CPU、内存、磁盘IO、网络、端口等，具体如下工具：TOP运维监控介绍   我们习惯性的在linux操作系统中键入TOP命令来查看系统资源使用情况，       如...

原创 MYSQL监控分析影响低效性能SQL语法方法

性能诊断分析是一种利用工具手段，通过采用实际监测，而不是“自我猜测 ”来帮助项目组进行诊断。可以通过以下方式定位执行效率较低的 SQL 语句：MYSQL慢日志分析 MYSQL可以通过慢查询日志定位那些执行效率较低的 sql 语句，用 --log-slow-queries[=file_name] 选项启动时， mysqld 写一个包含抓取所有执行时间超过long_query_time...

原创 nginx响应超时upstream timed out 问题处理

环境介绍 服务器：centos7.2应用：tomcat集群 服务：nginx 代理问题描述：       这段时间，听项目组项目经理和业务需求人员跟我反馈，线上业务人员在操作业务交易时，有时会出现nginx错误信息，一开始以为是客户人员自己误操作，因为频度不是很高半年多就反馈错一两次，只是今天刚好测试人员在操作时，也出现nginx错误信息，如下图：         ...

原创 Loadrunner12.6安装与问题解决方法

       Loadrunner12.6安装与问题解决方法环境要求： 软件要求 版本支持 微软操作系统 •Microsoft Windows 7 SP1 64-bit (Recommended) • Microsoft Windows 8.1 64-bit* • Microsoft Windows 10...

原创 服务端性能保障之流量控制测试总结

服务端性能保障之流量控制测试总结在互联网支付时代，我们无法预估系统承受最大并发用户数，做为性能测试人员如何确保系统在高并发下的稳定性、高可用性？     7月底最后一个周日，线下第二期性能班算是正式开课，零基础的学员不少，有测试管理经验、多年开发或者测试经验的人员也有几位，但是各个都很好学，不是因为学习而学习，而是有共同理想而走在一个教室，交流探讨专业知识。他们谦虚且上进、因为他们知道做着...

原创 某系统单点登录性能测试诊断分析优化过程

某系统单点登录性能测试诊断分析优化过程                                                郭柏雅原因说明    下面描述的是前段时间协助本地一家上市IT公司做产品技术选型时对他们的技术框架进行性能测试与优化过程记录，因测试过程中涉及数据库选型和各类问题的监控分析优化，篇幅比较大，本次主要是描述在同样基础软硬件下、同样应用工程包和框架、同样数据量下，针对M...

原创 开发框架选型需考虑的非功能指标

开发框架选型需考虑的非功能因素                      郭柏雅在新产品进入研发阶段前，技术、操作系统、硬件、数据库等选型是必须要完成的一项重要工作，这是对产品非功能需求、架构设计中的各种要素及约束的综合评估，是验证将来的技术框架能否满足业务不断扩展过程中是否能持续运维扩展的综合抉择。 从上图可以看出，技术选型实际上是从不同维度对产品技术进行分解的过程，通过分析，合理分解出各项技术...

转载 重构职场竞争力之测试跨界思维

重构职场竞争力之测试跨界思维                                                                         郭柏雅           IT技术永远学不完，看不尽，因此需要有计划、有选择的学习，这就是何为“泊涯“，吾生也有涯，而知也无涯，因此需要在有限的人生中打造“T”型的知识结构，做到既有较深的专业知识，又有广博的知识面，实属不易...

原创 微服务与docker关系介绍

微服务与docker关系介绍     因公司业务市场的发展与技术架构等结合因素，希望接下来的产品架构能支撑轻量级、高并发、大数据、智能化、易维护、动态扩展等方向发展，这段时间参与我们公司架构研发部等一起负责架构研发等相关工作，从中开始学习微服务、docker、非功能设计相关技术，公司使用Spring Boot、Spring Cloud、Docker和Netflix、Kubernetes、Prome...

原创 MYSQL数据库服务CPU高问题分析与优化

   MYSQL数据库服务CPU高问题分析与优化                                                  郭柏雅（泊涯）MySQL服务性能监控分析与优化是永恒的主题，做为性能测试人员有时也要站在DBA角度出发进行适当分析与优化，这也是性能测试人员能长期生存发展存在意义。而资源的使用监控分析才是性能故障分析的根本首要任务。在数据库服务器内部，如果执行的操作会...

原创 银行数据类项目测试实施与管理问题探讨

银行数据类项目测试实施与管理问题探讨原因分析：     银行大数据类项目测试的重要性在于业务数据可靠性、可用性等验证。数据本身是一把双刃剑，它能给企业带来业务价值的但是也是最大风险来源。而不可靠的数据质量意味着糟糕的业务经营，将导致错误的数据统计分析、监管业务难、误导高层领导决策等问题。 实施探讨：   测试是保证系统正确性、可靠性、稳定性的重要手段。如风险类项目、市场分析、数据仓库、反欺诈、反洗...

原创 MYSQL数据库服务磁盘IO高问题分析与优化

MYSQL数据库服务磁盘IO高问题分析与优化                                                    郭柏雅     压力测试过程中，如果因为资源使用瓶颈等问题引发最直接性能问题是业务交易响应时间偏大，TPS逐渐降低等。而问题定位分析通常情况下，最优先排查的是监控服务器资源利用率，例如先用TOP 或者nmon等查看CPU、内存使用情况，然后在排查IO问...