使用Apache JMeter进行SQL优化性能测试

一、 前言

最近在公司里做性能测试,对于一张大概400万数据的表,进行全表扫描往往会比较费时,更不要说有若干这样的表格级联进行检索了。为了能够在不影响生产环境的前提下进行SQL的性能优化,需要首先利用测试工具模拟多用户并发的场景进行性能测试,确认有效之后再在生产环境上线。本文主要解决以下几个问题:

  • 没有LoadRunner的授权(太贵了),而且LoadRunner本身对初学者来说也太难了点。
  • 需要优化的SQL查询语句有变量参数,而且需要在并发中处理。
  • 用两种方式(SQL查询方式和HTTP方式)进行性能测试。

二、 测试环境说明

下面首先介绍一下使用SQL方式进行测试的步骤。

三、 准备环境

  • 首先需要有一个可以使用的Oracle数据库环境。
  • 确认你的电脑是否已经安装了JDK,如果没有的话需要先安装一下。
  • 下载Apache JMeter,解压缩之后就可以用了。
  • 下载Oracle Instant Client 12c,解压缩之后,将ojdbc6.jar拷贝到JMeter目录下面的lib子目录下,这个是Oracle数据库的JDBC驱动。

到这里,用于SQL方式测试的环境就已经都搭建好了。

三、 准备测试数据库

1. 创建一个测试用的数据库

在数据库中插入一些数据。

2. 准备测试用的参数文件。

CSV文件的内容如下:

3. 在Windows的资源管理器中,进入JMeter的安装目录bin子目录下,运行jmeter.bat,即可打开jmeter的主界面。

Image[4]

4. 设置测试计划
  • 在刚打开JMeter的时候,默认会存在两个节点:测试计划和工作台,点击“测试计划”,在右边的属性页面中,命名为“我的数据库测试计划”。
  • 在“测试计划”属性页的最下面,可以设置jar包所在的路径,这里设置为"D:\apache-jmeter-2.10\lib",这个是我的机器中JMeter的lib目录,在这个例子中,Oracle的jdbc驱动也已经拷贝到该目录下。

Image(1)[4]

5. 创建线程组
  • 右键单击左侧的“我的数据库测试计划”,在弹出菜单中选择:添加->Threads(Users)->线程组,就会创建一个新的线程组。
  • 在右侧的属性界面中,将刚刚创建的线程组重命名为“SQL方式”。按照如下方式设置属性:
    • Number of Threads---一般我们用来表示多少个用户,即我们测试时的用户数量,这里设置为5。
    • Ramp-Up Period(in seconds)---表示每个用户启动的延迟时间。如果设置为5秒,表示系统将在5秒结束前启动我设置的5个用户;如果设置为10秒,那么系统将会在10秒结束前启动这5个用户,也就是启动用户的延迟为2秒; 如果我设置为0秒,则表示立即启动所有用户。这里设置为5。
    • Loop Count---请求发生的重复次数。如果选择后面的forever(默认),那么 请求将一直继续;如果不选择forever,而在输入框中输入数字,那么请求将重复指定的次数;如果输入1,那么请求将执行一次。这里设置为1。

Image(2)[4]

6. 创建JDBC连接
  • 右键单击左侧的“SQL方式”,在弹出的菜单中选择:添加->配置元件->JDBC Connection Configuration,就会创建一个新的JDBC连接。按照如下方式设置属性:
    • Variable Name---表示这个JDBC连接创建的连接池名字。这里设置为Oracle。
    • Validation Query---表示测试这个JDBC连接的语句。这里设置为“select 1 from dual”。
    • Database URL---JDBC连接字符串。因为我们要连接Oracle数据库,所以这里设置为“jdbc:oracle:thin:@10.2.11.17:1521:orcl”。
    • JDBC Driver class---JDBC驱动的类名。这里设置为“oracle.jdbc.driver.OracleDriver”。
    • Username---数据库用户名。
    • Password---密码。

Image(3)[4]

7. 创建JDBC测试用例
  • 右键单击左侧的“SQL方式”,在弹出的菜单中选择:添加->Sampler->JDBC Request,就会创建一个新的JDBC测试用例。按照如下方式设置属性:
    • Variable Name---使用的JDBC连接池名字。这里设置为Oracle。
    • Query Type---SQL查询的类型,因为我们在SQL查询语句中使用参数,所以这里选择“Prepared Select Statement”。
    • Query---SQL查询语句,这里设置为“select * from user_info where user_name=?”。
    • Parameter values---SQL查询的参数,我们通过在CSV文件中读取参数的方式,获得变量的值。因为我们只设置了5个并发用户,我们的CSV文件一共需要6行(第一行为标题,后面5行为数据)。然后我们使用CSVRead函数读取CSV文件的内容,这里设置为
      其中的0表示CSV文件的第0列。如果我们的SQL查询语句有多个参数,可以在“Parameter values”中用逗号分隔继续写。例如:
    • Parameter types---SQL查询参数的类型。这里设置为VARCHAR,如果有多个参数使用逗号分隔。

Image(4)[4]

8. 添加监听器
  • 右键单击左侧的“SQL方式”,在弹出的菜单中选择:添加->监听器->Aggregate Graph,可以看到总览的结果。
  • 右键单击左侧的“SQL方式”,在弹出的菜单中选择:添加->监听器->查看结果树,可以看到每一次请求的详细信息,包括SQL语句、参数的内容、响应的结果、相应的时间等等。
  • 右键单击左侧的“SQL方式”,在弹出的菜单中选择:添加->监听器->用表格查看结果,可以表格的方式查看性能测试的结果。
  • 在菜单中选择:运行->启动,就会启动测试,等执行完毕之后,可以用这三个监听器查看一下测试的结果。
  • 总览的结果

Image(5)[4]

  • 用结果树查看的结果

Image(6)[4]

  • 用表格查看的结果

Image(7)[4]

9. 安装Oracle Free Weblogic 12c for dev

到Oracle公司网站下载一个免安装的Oracle Weblogic 12c for dev

  • 首先解压缩这个zip的安装包,我是解压缩到了D:\weblogic-12120。
  • 然后按windows键+R,打开“运行”窗口,输入cmd,回车后即可打开命令提示符窗口。输入如下命令:
D:
cd D:\weblogic-12120
set JAVA_HOME=C:\Program Files\Java\jdk1.7.0_21
set MW_HOME=D:\weblogic-12120
configure.cmd

此时Weblogic安装程序开始解压缩安装包,可以通过查看标题条了解进度。

  • 解压缩完成之后,安装程序会自动设置好环境变量,并且提示是否需要配置一个新的域,输入“Y”进入下一步。
Do you want to configure a new domain? [Y/N] Y
  • 输入Weblogic管理员的用户名,我一般用weblogic。
Enter username to boot WebLogic server:weblogic
  • 输入Weblogic管理员的密码,我一般用weblogic123,这里要注意,如果输入纯数字的话可能会导致安装程序异常退出,原因是Weblogic管理员的密码必须既有字母也有数字。
Enter password to boot WebLogic server:

密码重复输入一遍之后就会创建一个默认的域:“mydomain”,路径在:

D:\weblogic-12120\user_projects\domains\mydomain

而且安装程序会直接启动这个域,可以在命令行界面中看到“The server started in RUNNING mode.”,表示mydomain域已经启动。

10. 在Weblogic中配置JDBC数据源
  • 用浏览器访问Weblogic管理界面:
http://localhost:7001/console

并且用weblogic/weblogic123登录,即可进入weblogic的管理界面。

Image

  • 在主页选择:域配置->数据源,进入数据源配置界面。

Image(1)

  • 选择:新建->一般数据源,进入数据源创建页面。设置名称为:testdatasource,JNDI名称为:testdatasource,数据库类型为:Oracle。

Image(2)

  • 点击下一步,选择数据库驱动,保留默认即可。

Image(3)

  • 点击下一步,提示这个驱动的事务管理方式,直接再点击下一步,配置数据库连接的参数,相关参数设置如下:
    • 数据库名称---一般为数据库的SID或者Service_Name,我的设置为orcl。
    • 主机名---数据库服务器的主机名或者IP地址。
    • 数据库用户名---连接数据库所使用的用户名。
    • 口令---数据库用户的密码。

Image(4)

  • 点击下一步,用“测试配置”的功能可以测试数据库连接是否正确,如果有问题则需要回到上一步修改数据库连接的参数。如果没有问题,点击“完成”就创建好了这个指向Oracle数据库的JDBC数据源。

Image(5)

  • 然后需要将这个数据源部署到myserver中去,点击“testdatasource”,选择“目标”,然后选择“myserver”,点击“保存”,就将这个数据源部署到了myserver中。

Image(6)

11. 创建简单的JSP工程
  • 在目录“D:\weblogic-12120\user_projects\domains\mydomain”下新建一个目录:webtest。
  • 在webtest目录下创建一个WEB-INF的子目录,在子目录中创建web.xml文件,内容如下:
<?xml version="1.0" encoding="UTF-8"?>  
<web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java.sun.com/xml/ns/javaee" xmlns:web="http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd" xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd" id="WebApp_ID" version="2.5">  
  <display-name>SQLTest</display-name>  

</web-app>
  • 在webtest目录下创建一个index.jsp文件,内容如下(注意使用UTF-8编辑):
<%@ page language="java" contentType="text/html; charset=utf-8" pageEncoding="utf-8"%>  
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />  
<!--首先导入一些必要的packages-->
<%@ page import="java.io.*"%>
<%@ page import="java.util.*"%>
<%@ page import="java.sql.*"%>
<%@ page import="javax.sql.*"%>
<%@ page import="javax.naming.*"%>
<!--设置中文输出--><html><head>
    <title>SQL Test</title></head><body>
<%
//以try开始
try
{
    String orig_param1 = request.getParameter("param1"); 
    String param1 = new String(orig_param1.getBytes("ISO-8859-1"), "UTF-8");

    Connection conn;
    ResultSet rs;

    //建立数据库连接
    Context ctx = new InitialContext();
    DataSource ds =(DataSource)ctx.lookup("jndi/testdatasource");
    conn = ds.getConnection();

    //创建一个JDBC声明
    String strsql = "select user_name from USER_INFO where user_name = ?";
    PreparedStatement pstmt = conn.prepareStatement(strsql);
    pstmt.setString(1, param1);

    //查询记录
    rs = pstmt.executeQuery();

    //输出查询结果
    while (rs.next()) {
            out.println(rs.getString("user_name"));
        }

        //关闭数据库连结
        rs.close();
        pstmt.close();
        conn.close();
    }

    //捕获错误信息
    catch (Exception e) {
        out.println(e.getMessage());
}

%>
</body></html>

到这里我们已经完成了一个最简单的JSP Web应用程序。

12. 在Weblogic中部署Web应用程序
  • 在Weblogic管理界面的主页中选择“部署”,进入部署管理界面.

Image(7)

  • 点击“安装”,就会进入目录选择界面,选择刚才创建的webtest目录,然后点击“下一步”。

Image(8)

  • 选择“将此部署安装为应用程序”,然后点击下一步。

Image(9)

  • 设置web应用程序的属性,保留默认即可,点击完成,就完成了web应用程序的部署。这时,可以在部署中看到新增了一个Web应用程序---webtest

Image(10)

打开一个浏览器,地址栏输入http://localhost:7001/webtest/index.jsp?param1=张三
可以看到返回了正确的结果。
下面我们回到JMeter,开始创建HTTP方式的测试

13. 在JMeter中添加线程组
  • 右键单击左侧的“我的数据库测试计划”,在弹出菜单中选择:添加->Threads(Users)->线程组,就会创建一个新的线程组。
  • 在右侧的属性界面中,将刚刚创建的线程组重命名为“HTTP方式”。按照如下方式设置属性:
    • Number of Threads---设置为5。
    • Ramp-Up Period(in seconds)---设置为5。
    • Loop Count---设置为1。

Image(11)

14. 创建HTTP测试用例
  • 右键单击左侧的“HTTP方式”,在弹出的菜单中选择:添加->Sampler->HTTP请求,就会创建一个新的HTTP测试用例。按照如下方式设置属性:
    • 服务器名称或IP---设置Weblogic服务器的IP地址。这里设置为localhost。
    • 端口号---设置Weblogic应用监听的端口。这里设置为7001。
    • 路径---测试用例所使用的Web页面路径,这里我们使用刚刚创建的index.jsp,设置为/webtest/index.jsp。
    • 同请求一起发送的参数---可以指定用GET或POST方式向Web应用程序发送参数,这里我们点击“添加”,就会增加一行,名称设置为param1,值设置为${__CSVRead(D:\download\c.csv,0)}

Image(12)

15. 添加监听器
  • 右键单击左侧的“HTTP方式”,在弹出的菜单中选择:添加->监听器->Aggregate Graph,可以看到总览的结果。
  • 右键单击左侧的“HTTP方式”,在弹出的菜单中选择:添加->监听器->查看结果树,可以看到每一次请求的详细信息,包括参数的内容、响应的结果、相应的时间等等。
  • 右键单击左侧的“HTTP方式”,在弹出的菜单中选择:添加->监听器->用表格查看结果,可以表格的方式查看性能测试的结果。
  • 在菜单中选择:运行->启动,就会启动测试,等执行完毕之后,可以用这三个监听器查看一下测试的结果。
16. 结束语

完毕

 

转载于:https://www.cnblogs.com/borisliu/p/3485863.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值