数据转发功能 smf_将SMF数据直接发送到IBM Db2 Analytics Accelerator

数据转发功能 smf

如果您已经在使用IBMDb2®Analytics Accelerator和Tivoli®Decision for z /OS®(TDSz),则现在可以使用TDSz模式将数据直接加载到Db2 Analytics Accelerator,而无需将数据存储在Db2表中。 使用此功能,您可以节省昂贵的存储空间上的CPU和空间,还可以在更长的时间内更详细地存储和查询数据。 本教程向您展示如何。

首先,让我们看一些产品和功能。

z / OS通用数据提供者(CDPz)是一个单一来源,可帮助将所有运营数据从z / OS平台带到您选择的分析平台,例如Operations Analytics for zSystems®; Splunk; 以及Elasticsearch,Logstash和Kibana(ELK)。

Tivoli Decision for z / OS(TDSz)从各种来源收集日志数据,并提供了一个中央存储库,可轻松访问历史范围的企业范围IT利用率信息和统计信息。 此信息对于提供性能报告,用于服务级别管理的数据以及使用情况记帐非常有用。 TDSz使用Db2 for z / OS作为其存储库。

IBM Db2 Analytics Accelerator for z / OS是一种高性能设备,可以帮助您高速查询数据并通过降低运营成本来扩展Db2 for z / OS的功能。

Tivoli Decision for z / OS现已包括旨在支持Db2 Analytics Accelerator的分析组件。 这些组件基于现有的非分析组件,对其进行了修改以允许以下操作:

  • 直接将数据存储到Db2 Analytics Accelerator,从而无需在z / OS的Db2上存储数据。
  • 存储更详细的时间戳级别记录。
  • 将更多的CPU工作从z / OS迁移到Db2 Analytics Accelerator设备。
  • 报告以利用Db2 Analytics Accelerator的高查询速度。

现在,您可以使用TDSz模式将数据直接加载到Db2 Analytics Accelerator,而无需将数据存储在Db2表中,从而节省了CPU和昂贵存储空间。 本教程向您展示如何。

z / OS的通用数据提供程序的系统数据引擎(SDE)组件支持以Db2内部装入格式(批处理模式)写入数据。 然后,使用IBM z / OS的Db2 Analytics Accelerator Loader将Db2内部格式数据集直接加载到IBM Db2 Analytics Accelerator中。

该集合当前不是实时的。 系统数据引擎从SMF系统管理设施数据集读取,如下所示。

该图显示了SMF数据集的读取

您将需要什么

您需要以下产品才能将TDSz数据直接发送到Db2 Analytics Accelerator:

  • Tivoli Decision for z / OS 1.8.1
  • z / OS 1.1的通用数据提供程序
  • Db2 Analytics Accelerator 5.1和Loader 2.1

此外,您需要以下维护软件包:

  • CDPz APAR OA52196和OA52200的产品临时修订(PTF)为Db2内部加载格式输出提供了所需的SHBODEFS成员,这些成员准备使用TDSz分析架构加载到Db2 Analytics Accelerator中。
  • 用于TDSz的PTF APAR PI70968提供了TDSz增强功能和分析架构。
  • 适用于z / OS V2.1的Db2 Analytics Accelerator Loader使用仅Db2 Analytics Accelerator的加载模式将SDE创建的数据加载到Db2 Analytics Accelerator中。

最初的支持仅限于:

  • 分析-z / OS性能
  • 分析-Db2
  • 分析-KPM CICS
  • 分析-KPM Db2
  • 分析-KPM Z / OS

Tivoli Decision Support for z / OS的KPM组件仅在版本1.8.2中可用。

使用仅加速器表的实施

您可以通过两种方法将SMF数据直接发送到Db2 Analytics Accelerator表。 本节说明了如何一步完成。 在TDSz中安装分析组件时,将直接在Db2 Analytics Accelerator中创建表。 在下一部分(“ 不使用仅使用加速器的表的实现 ”)中,首先在Db2中创建表,然后在准备好后将表移入Db2 Analytics Accelerator。

绑定用于Tivoli Decision Support的Db2计划

在应用了必需的PTF并运行了所有操作之后,包括刷新Tivoli Decision Support for z / OS系统表,请执行以下操作:

  1. 选择报告
    该屏幕截图显示了报告的选择
  2. 选择系统
    该屏幕截图显示了系统的选择
  3. 选择对话框参数
    该屏幕截图显示了对话框参数的选择
  4. 选择系统表 。 按F6更新系统表。
    该屏幕截图显示了系统表的选择

您需要通过指定BIND选项QUERYACCELERATION(ELIGIBLE)QUERYACCELERATION(ENABLE)重新绑定用于Tivoli Decision Support的Db2计划。

您可以使用SDRLCNTL数据集中的DRLJDBIN示例(用于创建TDSz数据库的示例)。

//DBINIT   EXEC PGM=IKJEFT01                                      
//STEPLIB  DD  DISP=SHR,DSN=hlq_db2.SDSNEXIT             
//         DD  DISP=SHR,DSN=hlq_db2.SDSNEXIT
//DBRMLIB  DD  DISP=SHR,DSN=hlq_tds.SDRLCNTL(DRLPSQLX)     
//SYSPRINT DD  SYSOUT=*
//SYSTSPRT DD  SYSOUT=*                                           
//SYSTSIN  DD  *                                                  
 DSN SYSTEM(dsn)                                                 
   BIND PACKAGE(DRLPLAN) MEMBER(DRLPSQLX) -                       
     ACTION(REPLACE) ISOLATION(CS) ENCODING(EBCDIC)  
     QUERYACCELERATION(ELIGIBLE)                
   BIND PLAN(DRLPLAN) PKLIST(*.DRLPLAN.*) -                       
     ACTION(REPLACE) RETAIN                                       
                                                                  
   RUN PROGRAM(DSNTIAD) PLAN(DSNTIA12) -                          
     LIB('hlq_db2.RUNLIB.LOAD')                          
 END

只有启用了查询加速的Db2子系统才允许使用QUERYACCELERATION参数。

修改TDSz配置文件数据集

现在,如果要使用AOT,请使用新参数修改DRLFPROF数据集。

/*---------------------------------------------------------------*/
/* IDAA Enablement                                               */
/*---------------------------------------------------------------*/
def_useaot      = "YES"                                            
def_accelerator = "HOLIDAA"                                        
def_timeint     = "T"
  • 如果要使用仅加速器表,请将def_useaot更改为“ YES”。 如果要稍后决定,请将其保留为“否”。
  • def_accelerator =“ xxxxxxxx”(加速器的名称)。
  • def_timeint =“ H ” | “ S ” | “ T
    • H ” –时间戳四舍五入为一个小时间隔。
    • S ” –时间戳取整到秒的间隔。
    • T ” –时间戳是实际时间戳(默认)。

安装分析组件

与其他任何组件一样,您可以使用“管理对话框”>“组件”(1.2)安装分析组件。

  1. 选择报告
    该屏幕截图显示了报告的选择
  2. 选择组件
    该屏幕截图显示了组件的选择
  3. 选择组件。
    该屏幕截图显示了特定组件的选择
  4. F6开始安装。
    该屏幕截图显示了按F6
  5. 选择组件的所需部分。
    该屏幕截图显示了组件所需部分的选择
  6. 选择批次
    该屏幕截图显示了批处理的选择
  7. 要开始批处理,请在命令行上输入Submit

分析表直接在Db2 Analytics Accelerator中创建。 安装所有分析组件之后,您可以在“组件”面板上检查其状态。

该屏幕截图显示了“组件”面板的选择

这些表格也可以通过TDSz面板看到。 所有分析表均以A_开头。

该屏幕截图显示了TDSz面板的选择

此外,您还可以通过报告对话框使用一些示例报告。 所有分析样本报告ID均以A开头。

该屏幕截图显示了示例报告的选择

由于分析组件基于经典组件,因此复制在经典表上运行的任何现有报告并将其转换为在分析表上运行应该不难。

自定义LOOKUP定义

现在,如果需要,您应该自定义分析组件的LOOKUP定义,以反映经典查找表的内容。 每个分析组件查找表均基于非分析组件查找表。 仅当使用Tivoli Decision Support for z / OS来收集和填充Db2 for z / OS上的组件表时(在这种情况下,您没有使用TDSz collect),或者如果您使用Tivoli Decision Support for z / OS报告(您可能正在使用)。

如果仅将数据收集到Db2 Analytics Accelerator中并且不将数据驻留在Db2 for z / OS中,则应该自定义Common Data Provider的成员。 然后,您需要在Common Data Provider中将查找表配置为z / OS(在这种情况下,您正在将数据收集到Db2 Analytics Accelerator中)。 最好将成员从SHBODEFS数据集复制到一些新创建的LOCAL.DEFS数据集。

表1. CDPz查找表成员
HBO v rm。 SHBODEFS成员名称 Analytics组件查找表名称 基于非分析组件的查找表名称
HBOTA2AP A_DB2_APPLICATION DB2_APPLICATION
HBOTA2AC A_DB2_ACCUMAC DB2_ACCUMAC
博塔鲁格 A_USER_GROUP USER_GROUP
HBOTALKP A_KPM_THRESHOLDS_L KPM_THRESHOLDS
HBOTALWL A_WORKLOAD2_L MVS_WORKLOAD2_TYPE
博塔米 A_MIPS_L MVS_MIPS_T
HBOTALSP A_SYSPLEX_L MVS_SYSPLEX
HBOTALWL A_WORKLOAD_L MVS_WORKLOAD_TYPE
HBOTALW2 A_WORKLOAD2_L MVS_WORKLOAD2_TYPE
博塔达 A_DEVICE_ADDR_L MVSPM_DEVICE_ADDR
HBOTALUT A_UNIT TYPE_L MVSPM_UNIT_TYPE
HBOTALTR A_TIME_RES_L MVSPM_TIME_RES

收集IDAA_ONLY表

现在,您可以将SMF数据收集到Db2 Analytics Accelerator。

CDPz收集

首先,您应该运行CDPz随附的JCL作业,以为分析组件为Accelerator创建的表生成Db2内部格式数据。 修改以下作业并将它们从SHBOCNTL提交到LOCAL.CNTL数据集,以根据提供的SMF日志数据集创建登台数据集:

  • HBOA2DUN –分析– Db2
  • HBOAKDUN –分析– KPM Db2
  • HBOAPMUN –分析– z / OS性能
  • HBOAKZUN –分析– KPM z / OS,如果仍然缺少SHBODEFS(HBOTPERI),请添加
  • HBOAKCUN –分析– KPM CICS

STEPLIB应该包含CDPz SHBOLOAD数据集。

该屏幕截图显示了STEPLIB的内容

HBOLOG应该包含您要收集的SMF数据集。

该屏幕截图显示了HBOLOG的内容

运行作业后,可以在输出中检查统计信息:

该屏幕截图显示了输出统计信息
Db2 Analytics Accelerator负载

用于z / OS V2.1的Db2 Analytics Accelerator Loader用于将由系统数据引擎(SDE)创建的Db2内部格式数据集直接加载到Db2 Analytics Accelerator中,而无需将数据保留在Db2 for z / OS中。 作业由CDPz提供。

修改作业并将其从SDRLCNTL提交到LOCAL.CNTL数据集,以使用加载程序将登台数据集上载到Accelerator:

  • DRLJA2DD –分析– Db2
  • DRLJAKDD –分析– KPM Db2
  • DRLJAPMD –分析– z / OS性能
  • DRLJAKZD –分析– KPM z / OS
  • DRLJAKCD –分析– KPM CICS

组件中的每个表都有LOAD语句:

该屏幕截图显示了LOAD语句

作业输出包含有关每个语句的统计信息:

该屏幕截图显示了有关每个语句的统计信息
结合收集和加载

您还可以将CDPz CollectDb2 Analytics Accelerator Load到一个JCL中。

TDSz收集

您仍应将TDSz COLLECT用于非分析组件,但要排除A_ *表。

该屏幕截图显示了TDSz COLLECT用于非分析组件(A_ *表除外)的使用

实施不使用仅加速器表

如前所述,有两种方法可以实现将SMF数据直接发送到Db2 Analytics Accelerator表。 本节说明了如何分阶段进行。 在TDSz中安装分析组件时,首先在Db2中创建表,然后在准备好后将表移至Db2 Analytics Accelerator中。 在上一节(“ 使用仅使用Accelerator的表的实现 ”)中,当您在TDSz中安装分析组件时,这些表将直接创建到Db2 Analytics Accelerator中。

阶段1:使用Db2中的表运行分析

在第1阶段中,您将运行在Db2中创建的分析组件表。 如果您没有用于z / OS的Db2 Analytics Accelerator或通用数据提供程序,甚至可以安装分析组件。 稍后,准备就绪后,您可以启用表格进行加速并将其移至Db2 Analytics Accelerator。

绑定用于Tivoli Decision Support的Db2计划

在应用了必需的PTF并运行了所有操作(包括刷新系统表)之后,您需要通过指定BIND选项QUERYACCELERATION(ELIGIBLE )或QUERYACCELERATION(ENABLE)重新绑定用于Tivoli Decision Support的Db2计划。

您可以使用SDRLCNTL数据集中的DRLJDBIN示例(用于创建TDSz数据库的示例)。

//DBINIT   EXEC PGM=IKJEFT01                                      
//STEPLIB  DD  DISP=SHR,DSN=hlq_db2.SDSNEXIT             
//         DD  DISP=SHR,DSN=hlq_db2.SDSNEXIT
//DBRMLIB  DD  DISP=SHR,DSN=hlq_tds.SDRLCNTL(DRLPSQLX)     
//SYSPRINT DD  SYSOUT=*                                           
//SYSTSPRT DD  SYSOUT=*                                           
//SYSTSIN  DD  *                                                  
 DSN SYSTEM(DSN)                                                 
   BIND PACKAGE(DRLPLAN) MEMBER(DRLPSQLX) -                       
     ACTION(REPLACE) ISOLATION(CS) ENCODING(EBCDIC)  
     QUERYACCELERATION(ELIGIBLE)                
   BIND PLAN(DRLPLAN) PKLIST(*.DRLPLAN.*) -                       
     ACTION(REPLACE) RETAIN                                       
                                                                  
   RUN PROGRAM(DSNTIAD) PLAN(DSNTIA12) -                          
     LIB('hlq_db2.RUNLIB.LOAD')                          
 END
修改TDSz配置文件数据集

现在,在这种情况下,您将不使用AOT,因此不必修改DRLFPROF 。 您可以保留其默认值:

/*---------------------------------------------------------------*/
/* IDAA Enablement                                               */
/*---------------------------------------------------------------*/
def_useaot         = "NO"                                            
def_accelerator = "HOLIDAA"                                        
def_timeint     = "T"
  • 如果要使用仅加速器表,请将def_useaot更改为“ YES”。 如果要稍后决定,请将其保留为“否”。
  • def_accelerator =“ xxxxxxxx”(加速器的名称)。
  • def_timeint =“ H ” | “ S ” | “ T
    • H ” –时间戳四舍五入为一个小时间隔。
    • S ” –时间戳取整到秒的间隔。
    • T ” –时间戳是实际时间戳(默认)。
自定义LOOKUP定义

现在,如果需要,您应该自定义分析组件的LOOKUP定义,以反映经典查找表的内容。 每个分析组件查找表均基于非分析组件查找表。 如果计划从Db2运行分析组件,则可以通过将适当的成员从SDRLDEFS数据集复制到LOCAL.DEFS数据集来自定义LOOKUP定义成员。 您可以在安装适当的组件后决定更新LOOKUP表。

如果您正在使用Tivoli Decision Support for z / OS来收集和填充Db2 for z / OS上的组件表(在这种情况下,您可能正在使用TDSz Collect),那么应该定制查找表。 另外,如果您正在使用Tivoli Decision Support for z / OS报告,则应该定制查找表(在这种情况下可能要这样做)。

表2. TDSz查找表成员
Tivoli Decision Support for z / OS成员名称 Tivoli Decision Support for z / OS组件表名称 Tivoli Decision Support for z / OS分析组件表名称
DRLTA2AP DB2_APPLICATION A_DB2_APPLICATION
DRLTA2AC DB2_ACCUMAC A_DB2_ACCUMAC
德鲁塔鲁格 USER_GROUP A_USER_GROUP
DRLTALKP KPM_THRESHOLDS A_KPM_THRESHOLDS_L
DRLTALW2 MVS_WORKLOAD2_TYPE A_WORKLOAD2_L
德塔达 MVSPM_DEVICE_ADDR A_DEVICE_ADDR_L
德鲁塔 MVSPM_UNIT_TYPE A_UNIT_TYPE_L
德尔塔米 MVS_MIPS_T A_MIPS_L
DRLTALSP MVS_SYSPLEX A_SYSPLEX_L
DRLTALWL MVS_WORKLOAD_TYPE A_WORKLOAD_L
DRLTALW2 MVS_WORKLOAD2_TYPE A_WORKLOAD2_L
DRLTALTR MVSPM_TIME_RES A_TIME_RES_L
安装分析组件

与其他任何组件一样,您可以使用“管理对话框”>“组件”(1.2)安装分析组件。

  1. 选择报告
    该屏幕截图显示了报告的选择
  2. 选择组件
    该屏幕截图显示了组件的选择
  3. 选择组件。
    该屏幕截图显示了特定组件的选择
  4. F6开始安装。
    该屏幕截图显示了按F6

现在,您提交批处理作业,然后创建组件。 这些表是在Db2中创建的。 所有分析表均以A_开头。

该屏幕截图显示了在Db2中创建的表

另外,您可以通过报告对话框使用一些示例报告。 所有分析样本报告ID均以A开头。

该屏幕截图显示了示例报告

因为分析组件基于经典组件,所以复制在经典表上运行的任何现有报告并将其转换为在分析表上运行应该不难。

您现在可以将分析组件与任何其他组件一起使用。

阶段2:使用Db2 Analytics Accelerator中的表运行分析组件

在第1阶段中,您安装了具有在Db2中创建的表的分析组件; 它们可能已经启用了加速功能。 现在,在阶段2中,您准备将表移至Db2 Analytics Accelerator,因此它们将成为Accelerator Only Tables(AOT)。

将分析组件中的表添加到Accelerator

从SDRLCNTL修改并提交成员,以将表添加到Accelerator(请注意,此示例使用从SAQTSAMP编译的AQTSCALL):

DRLJAKDA –分析DRLJAKDA Db2

DRLJA2DA –分析DRLJA2DA

DRLJAKZA –分析DRLJAKZA z / OS

DRLJAPMA –分析-z / OS

DRLJAKCA –分析DRLJAKCA CICS

注意 :如果未编译AQTSCALL,则可以使用SAQTSAMP中的样本作业AQTSJI03。

将查找表内容从分析组件移动到Accelerator

从SDRLCNTL修改并提交成员,以将查找表的内容移动到Accelerator:

DRLJA2DK –分析DRLJA2DK

DRLJAKZK –分析DRLJAKZK z / OS

DRLJAPMK –分析-z / OS

自定义LOOKUP定义

现在,如果需要,您应该自定义分析组件的LOOKUP定义以反映经典查找表的内容。

每个分析组件查找表均基于非分析组件查找表。

如果仅将数据收集到Db2 Analytics Accelerator中并且不将数据驻留在Db2 for z / OS中,则应该自定义Common Data Provider的成员。 您将在Common Data Provider中将查找表配置为z / OS。 在这种情况下,您将把数据收集到Db2 Analytics Accelerator中。 最好将成员从SHBODEFS数据集复制到新创建的LOCAL.DEFS数据集。 参见表1。

收集IDAA_ONLY表

注意:此部分与上面的“ 为IDAA_ONLY表收集 ”相同。 为方便起见,在此重复。

现在,您准备将SMF数据收集到Db2 Analytics Accelerator。

CDPz收集

首先,您应该运行CDPz随附的JCL作业,以为分析组件为Accelerator创建的表生成Db2内部格式数据。 修改以下作业并将它们从SHBOCNTL提交到LOCAL.CNTL数据集,以根据提供的SMF日志数据集创建登台数据集:

  • HBOA2DUN –分析– Db2
  • HBOAKDUN –分析– KPM Db2
  • HBOAPMUN –分析– z / OS性能
  • HBOAKZUN –分析– KPM z / OS
  • HBOAKCUN –分析– KPM CICS

STEPLIB应该包含CDPz SHBOLOAD数据集。

该屏幕截图显示了STEPLIB的内容

HBOLOG应该包含您要收集的SMF数据集。

该屏幕截图显示了HBOLOG的内容

运行作业后,可以在输出中检查统计信息:

该屏幕截图显示了统计数据
Db2 Analytics Accelerator负载

用于z / OS V2.1的Db2 Analytics Accelerator Loader用于将SDE创建的Db2内部格式数据集直接加载到Db2 Analytics Accelerator中,而无需将数据保留在Db2 for z / OS中。 作业由CDPz提供。

修改作业并将其从SDRLCNTL提交到LOCAL.CNTL数据集,以使用加载程序将登台数据集上载到Accelerator:

  • DRLJA2DD –分析– Db2
  • DRLJAKDD –分析– KPM Db2
  • DRLJAPMD –分析– z / OS性能
  • DRLJAKZD –分析– KPM z / OS
  • DRLJAKCD –分析– KPM CICS>

组件中的每个表都有LOAD语句:

该屏幕截图显示了LOAD语句

作业输出包含有关每个语句的统计信息:

该屏幕截图显示了每个语句的统计信息
结合收集和加载

您还可以将CDPz CollectDb2 Analytics Accelerator Load到一个JCL中。

TDSz收集

您仍应将TDSz COLLECT用于非分析组件,但要排除A_ *表。

该屏幕截图显示了TDSz COLLECT用于非分析组件(A_ *表除外)的使用

结论

本教程向您展示了如何在TDSz,CDPz和Db2 Analytics Accelerator之间实现集成,以使用“仅Accelerator表”将SMF数据直接发送到Db2 Analytics Accelerator。 您探索了两种不同的方法:

  • 通过在安装分析组件时直接在Db2 Analytics Accelerator中使用TDSz模式创建表
  • 分阶段进行,方法是像使用TDSz的非分析组件一样先在Db2中创建表,然后将表移至Db2 Analytics Accelerator

在这两种情况下,您都需要一个用于z / OS的通用数据提供程序,该程序将SMF数据收集到Db2 Analytics Accelerator中。


翻译自: https://www.ibm.com/developerworks/library/ba-smf-data-db2-analytics-accelerator/index.html

数据转发功能 smf

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值