weixin_39726863的博客

原创 TeraData数仓数据库埋数

先复制一个原表create table uco_8.testtable1231as saddle.yuanbiao with no data;编写存储过程Create procedure testzss1()beginDECLARE I INTEGER DEFAULT 0;DECLARE o_khbh CHAR(12);loop_table:LOOPSET I =I+1;SET o_khbh =cast(I+10000 as VACHAR(12));IF I>.

原创 通过Sqoop从oracle向Hive数据库铺入

1:准备工作create临时表test_no_1Create table test_no_1( test_not varchar2(40) )tablespace tsind04 一般新建varchar2类型即可临时表批量插入数据declarei Integer;begini :=0;while I<100000 loopinsert into test_no_1 values(LPAD(i,6,0));i:=i+1;commit;end loop;end;根据目

原创 数据库表数据查重

select count(*) from test_no_1 where test_not in (select test_not from test_no_1 group by test_not having count(*)>1);test_no_1 是table_nametest_not是列名

原创 备份表

快速做一个和原表一样的备份表。create table new_table as (select * from old_table)

原创 lr做socket接口测试

原创 log文件备份

cp -p mysql-slow.log mysql-slow.log.’date +%Y%m%d_%H%M’tar -czvf test.tar.gz mysql-slow.log

原创 mysql基于while do语法编写存储过程

Delimiter // —-标识符create procedure testone()beginDECLARE I INT DEFAULT 0; --定义int变量i的起始值为0DECLARE test_no VARCHRA(50);--定义变量的类型及长度 while i<5 do --定义后while do循环的次数，这里为循环5次SET test_no = concat(‘1000’,i+1);--数据修改的起始字段，此为拼接，值为10001insert into ‘test

原创 TPS上不去的原因刨析

性能测试中TPS上不去的几种原因什么叫TPS：TPS（Transaction Per Second）：每秒事务数，指服务器在单位时间内（秒）可以处理的事务数量，一般以request/second为单位。TPS上不去的可能原因：1、网络带宽在压力测试中，有时候要模拟大量的用户请求，如果单位时间内传递的数据包过大，超过了带宽的传输能力，那么就会造成网络资源竞争，间接导致服务端接收到的请求数达不到服务端的处理能力上限。2、连接池可用的连接数太少，造成请求等待。连接池一般分为服务器连接池（比如Tomc

原创 查看数据库表是否有死锁

Select a.object_name, b.session_id, c.serial#, c.program, c.username, c.command, c.machine, c.lockwaitfrom all_object a,v$locked_object b,v$session c where a.object_id = b.OBJECT_ID and c.sid = b.session_id

原创 查看是否有线程阻塞方法

ps -no pid -I THREAD,tid,timeprintf “%x\n” 线程pid (转换成16进制)jstack pid|grep b32 -A 30 (pid为进程号，b32为线程转换后16进制字符)

原创 应用服务器内存持续攀升问题解决

前不久遇到了一个内存持续攀升不释放的问题，特此记录。服务器内存持续升高，更改linux底层配置参数export MALLOC_ARENA_MAX=1添加到bash_profile文件下，没有bash_profile文件的话，用哪个用户启动就用哪个用户在根目录下添加个bash_profile文件，然后再配置以下参数。文件一般存在路径/home/cib下操作步骤：cd /home/cibvi .bash_profile文件最后添加上诉代码资源来自：https://www.easyice.cn

原创 应用服务器cpu高问题排查

作为性能测试工程师，在日常工作中我们会遇到 Linux服务器上出现CPU负载达到100%居高不下的情况，如果CPU 持续跑高，则会影响业务系统的正常运行。Linux 系统 CPU 占用率较高问题排查思路很多性能的同学遇到这种状况往往会不知所措，对于CPU过载问题通常使用以下两种方式即可快速定位：方法一第一步：使用top命令，然后按shift+p按照CPU排序找到占用CPU过高的进程的pid第二步：使用top -H -p [进程id]找到进程中消耗资源***的线程的id第三步：使用ech

原创 如果（if）控制器的用法

在我们执行jmeter脚本压测时，发现存在后排的接口承接不到（）前排接口返回的参数造成报错，如果我们不关注报错，只为了求取100%成功率的话，这里有一个办法。我们可以加一个json Extractor作为该id的一个输出断言，可参考小白的博文：https://www.cnblogs.com/loveapple/p/9852456.html下面我们在需要接收该id的上...

原创 性能测试的项目应该怎么做

很多小伙伴儿会问，性能测试是不是会一个工具就算会性能测试了呢？ 性能测试不是这样的，首先要明确的是，不是说你会了工具就会了性能测试。性能测试是一个行业，而工具只是它的一个组成部分。性能测试需要了解的东西很多（业界俗称：打杂的），就是说会对各种的知识点都有涉猎，linux/语言/工具以及一些框架的东西。下面我就简要叙述下我接到一个项目时会怎么搞事（给大家一点参考，不对的地方，多多...

原创 取A表的某些列的数据插入到B表中（复制）

第一步：建立一个临时表tmpCREATE TABLE 'tmp'( 'id' varvhar(36) NOT NULL, 'memberId' varvhar(36) DFFAULT NULL, 'shopId' varvhar(255) DFFAULT NULL, PRIMARY KEY ('id')) ENGINE=InnoDB DEFAULT CH...

原创 mysql数据库开启sql慢查

1.查看慢查询相关参数show variables like 'slow_query%'; #有没有开启慢查show variables like 'long_query_time'; #设置的慢查时间是多少2.设置set global slow_query_log='ON'; #将 slow_query_log 全局变量设置为“ON”状态set global slow_q...

原创 当iostat vmstat sar命令不可用怎么解决

yum install sysstat执行以上代码后，输入y即可

原创 Docker基本操作命令

docker exec #进入dockerdocker restart #重启dockerdocker start #启动docker stop #停止docker run -it -v/docker_test:/yufei_6 centos #创建一个容器docker ps #docker启动的容器列表docker start yufri_6 #启动docker容器yufri...

翻译 服务器CPU过高，排查方法

top #定位异常的进程top -H -p pid #查看异常的线程strace -T -r -c -p pid #查看系统调用和花费的时间printf "%x/n"线...

转载 timewait性能问题解决方案

如发现系统存在大量TIME_WAIT状态的连接，通过调整内核参数解决：编辑文件/etc/sysctl.conf，加入以下内容：net.ipv4.tcp_syncookies = 1net.ipv4.tcp_tw_reuse = 1net.ipv4.tcp_tw_recycle = 1net.ipv4.tcp_fin_timeout = 30然后执行 /sbin/sysctl -p...

原创 怎么生成一个jar包

首先，我们要确定下所写的程序是否已经没有报错了，最好选择java project.1、选择所要打包的项目，右击选择Export2、找到java 选择JAR file，点击next3、选中java项目，JAR file选择JAR文件的储存路径，点击next继续4、点击next下一步5、点击Finish，jar文件生成6、查看jar文件是否生成...

原创 jmeter之HTTP协议脚本研发

简述下，最近做的一个关于经纬度的http协议的post脚本（JSON）最近拿到一个项目，类似于百度查询做搜索的一个接口，需要做这方面的测试，为了验证solr引擎的性能。因为刚接触jmeter测试工具不久，还是有些生疏的，这块涉及到了经纬度且用户所在城市的一些参数问题（毕竟刚玩jmeter，有点丈二的和尚），相信很多玩过loadrunner的小伙伴都知道，直接取随机数就行了啊，很简单。下...

原创 SQL优化准则

MySQL在执行SQL查询时可能会用到临时表，一般情况下，用到临时表就意味着性能较低。临时表存储MySQL临时表分为“内存临时表”和“磁盘临时表”，其中内存临时表使用MySQL的MEMORY存储引擎，磁盘临时表使用MySQL的MyISAM存储引擎；一般情况下，MySQL会先创建内存临时表，但内存临时表超过配置指定的值后，MySQL会将内存临时表导出到磁盘临时表；Linux平台上缺省是/tm...

原创 查看linux下cpu信息

有多少个虚拟处理器？$ grep 'physical id' /proc/cpuinfo | sort | uniq | wc -l有多少物理处理器？$ grep ^processor /proc/cpuinfo | wc -l处理器是双核（还是多核）？$ grep 'cpu cores' /proc/cpuinfo...

原创 接口输出转义UFT-8加参数输出

Lr_convert_string_encoding(lr_eval_taring(“<res3>”),”UFT-8”,NULL,”msg3”);If(strcmp(lr_eval_taring(“<returnCode3>”),”1”)==0){ Lr_end_reansaction(“B2C_17_02_订单详情”,LR_PASS);}else{ Lr_er...

转载 优化Linux下的内核TCP参数以提高系统性能

优化Linux下的内核TCP参数以提高系统性能内核的优化跟服务器的优化一样，应本着稳定安全的原则。下面以Squid服务器为例来说明，待客户端与服务器端建立TCP/IP连接后就会关闭Socket，服务器端连接的端口状态也就变为TIME_WAIT了。那是不是所有执行主动关闭的Socket都会进入TIME_WAIT状态呢？有没有什么情况可使主动关闭的Socket直接进入CLOSED状态呢？答案是主动...

原创 jvisualvm工具性能监控部署方法

1、部署：a.先设置jvisualvm连接用到的账号密码，如图b.找到starup.sh文件编辑sh脚本，添加监控所需代码代码：Export CATALINA_OPTS=”$CATALINA_OPTS-Dcom.sun.management.jmxremote-Djava.rmi.sever.hostname=10.96.29.100-Dcom.sun.mana...

原创 mysql数据库开启慢查

本文主要介绍的是MySQL慢查询分析方法，前一段日子，我曾经设置了一次记录在MySQL数据库中对慢于1秒钟的SQL语句进行查询。有几个参数的名称死活回忆不起来了，于是重新整理一下，自己做个笔记。对于排查问题找出性能瓶颈来说，最容易发现并解决的问题就是MySQL慢查询以及没有索引的查询。　　OK，开始找出MySQL中执行起来不“爽”的SQL语句吧。　　MySQL慢查询分析方法一：　　...

原创 jmeter压力测试之mysql数据库

使用jmeter做mysql数据库的压测，只针对mysql数据中的sql进行测试该怎么测试呢第一步、我们先把mysql的jar包导入进来（具体的可以去百度下载，JDBC驱动可以在mysql的官网下载，具体地址是：https://dev.mysql.com/downloads/file/?id=477058，不需要注册），如图第二步、我们新建一个线程组，线程组下新建一个JDBC Conn...

原创 mysql数据库IO高问题排查

最近压测了一个项目发现数据库IO很高；相关命令：iostat ,iotop, top, ps -ef ,perf执行压测时使用iostat -x 1命令监控发现util%占用很高针对iostat命令中的util%, 可以利用gnuplot生成一系列的图先安装gnuplot ：https://www.jianshu.com/p/8087e2fd7835（具体下载地址百度去官网吧...

原创 mysql数据库中索引优化的一次刨析过程

首先想到的就是索引这块有没有缺失或者，索引的可用性会不会失效，下面简单简述索引的注意项；查询语句的优化及注意事项：对查询进行优化，要尽量避免全表扫描，首先应考虑where及order by 涉及的列上建立索引； 应尽量避免在where子句中对字段进行null值判断，尽可能的使用not null值填充数据库； 应尽量避免在where子句中使用!=或<>操作符； 应尽量避免在...

原创 Jmeter之While Controller的使用

本文只为那些还在迷茫于while Controller的小伙伴儿~ 之前一直是在使用loadrunner11这个工具，随着工作的各种项目，现在在用jmeter，踩了很多坑，loradrunner11与jmeter其实有很多共同点，不废话了，开始说下我刚踩的一个坑。 都知道loadrunner可以把登陆的部分放在int中，那么我们当使用jmeter时，怎么去实现这个操作呢，...

原创 如何在Linux环境下运行Jmeter脚本实现性能压测

如何在Linux环境下运行Jmeter脚本1、在win上的Jmeter中编写好脚本，并将脚本保存为.jmx文件（脚本可不添加监听器）2、在Linux上进到解压apache-jmeter-3.2的路径下，执行Jmeter脚本的命令是：注：如1中所提到，如果没有去掉路径，此处会报这个错误，即便你是在Jmeter根目录中运行的./bin/jmeter -n -t .jmx文件（脚...