数据转发功能 smf
如果您已经在使用IBMDb2®Analytics Accelerator和Tivoli®Decision for z /OS®(TDSz),则现在可以使用TDSz模式将数据直接加载到Db2 Analytics Accelerator,而无需将数据存储在Db2表中。 使用此功能,您可以节省昂贵的存储空间上的CPU和空间,还可以在更长的时间内更详细地存储和查询数据。 本教程向您展示如何。
首先,让我们看一些产品和功能。
z / OS通用数据提供者(CDPz)是一个单一来源,可帮助将所有运营数据从z / OS平台带到您选择的分析平台,例如Operations Analytics for zSystems®; Splunk; 以及Elasticsearch,Logstash和Kibana(ELK)。
Tivoli Decision for z / OS(TDSz)从各种来源收集日志数据,并提供了一个中央存储库,可轻松访问历史范围的企业范围IT利用率信息和统计信息。 此信息对于提供性能报告,用于服务级别管理的数据以及使用情况记帐非常有用。 TDSz使用Db2 for z / OS作为其存储库。
IBM Db2 Analytics Accelerator for z / OS是一种高性能设备,可以帮助您高速查询数据并通过降低运营成本来扩展Db2 for z / OS的功能。
Tivoli Decision for z / OS现已包括旨在支持Db2 Analytics Accelerator的分析组件。 这些组件基于现有的非分析组件,对其进行了修改以允许以下操作:
- 直接将数据存储到Db2 Analytics Accelerator,从而无需在z / OS的Db2上存储数据。
- 存储更详细的时间戳级别记录。
- 将更多的CPU工作从z / OS迁移到Db2 Analytics Accelerator设备。
- 报告以利用Db2 Analytics Accelerator的高查询速度。
“现在,您可以使用TDSz模式将数据直接加载到Db2 Analytics Accelerator,而无需将数据存储在Db2表中,从而节省了CPU和昂贵存储空间。 本教程向您展示如何。 ”
z / OS的通用数据提供程序的系统数据引擎(SDE)组件支持以Db2内部装入格式(批处理模式)写入数据。 然后,使用IBM z / OS的Db2 Analytics Accelerator Loader将Db2内部格式数据集直接加载到IBM Db2 Analytics Accelerator中。
该集合当前不是实时的。 系统数据引擎从SMF系统管理设施数据集读取,如下所示。
您将需要什么
您需要以下产品才能将TDSz数据直接发送到Db2 Analytics Accelerator:
- Tivoli Decision for z / OS 1.8.1
- z / OS 1.1的通用数据提供程序
- Db2 Analytics Accelerator 5.1和Loader 2.1
此外,您需要以下维护软件包:
- CDPz APAR OA52196和OA52200的产品临时修订(PTF)为Db2内部加载格式输出提供了所需的SHBODEFS成员,这些成员准备使用TDSz分析架构加载到Db2 Analytics Accelerator中。
- 用于TDSz的PTF APAR PI70968提供了TDSz增强功能和分析架构。
- 适用于z / OS V2.1的Db2 Analytics Accelerator Loader使用仅Db2 Analytics Accelerator的加载模式将SDE创建的数据加载到Db2 Analytics Accelerator中。
最初的支持仅限于:
- 分析-z / OS性能
- 分析-Db2
- 分析-KPM CICS
- 分析-KPM Db2
- 分析-KPM Z / OS
Tivoli Decision Support for z / OS的KPM组件仅在版本1.8.2中可用。
使用仅加速器表的实施
您可以通过两种方法将SMF数据直接发送到Db2 Analytics Accelerator表。 本节说明了如何一步完成。 在TDSz中安装分析组件时,将直接在Db2 Analytics Accelerator中创建表。 在下一部分(“ 不使用仅使用加速器的表的实现 ”)中,首先在Db2中创建表,然后在准备好后将表移入Db2 Analytics Accelerator。
绑定用于Tivoli Decision Support的Db2计划
在应用了必需的PTF并运行了所有操作之后,包括刷新Tivoli Decision Support for z / OS系统表,请执行以下操作:
- 选择报告 。
- 选择系统 。
- 选择对话框参数 。
- 选择系统表 。 按F6更新系统表。
您需要通过指定BIND
选项QUERYACCELERATION(ELIGIBLE)
或QUERYACCELERATION(ENABLE)
重新绑定用于Tivoli Decision Support的Db2计划。
您可以使用SDRLCNTL数据集中的DRLJDBIN示例(用于创建TDSz数据库的示例)。
//DBINIT EXEC PGM=IKJEFT01
//STEPLIB DD DISP=SHR,DSN=hlq_db2.SDSNEXIT
// DD DISP=SHR,DSN=hlq_db2.SDSNEXIT
//DBRMLIB DD DISP=SHR,DSN=hlq_tds.SDRLCNTL(DRLPSQLX)
//SYSPRINT DD SYSOUT=*
//SYSTSPRT DD SYSOUT=*
//SYSTSIN DD *
DSN SYSTEM(dsn)
BIND PACKAGE(DRLPLAN) MEMBER(DRLPSQLX) -
ACTION(REPLACE) ISOLATION(CS) ENCODING(EBCDIC)
QUERYACCELERATION(ELIGIBLE)
BIND PLAN(DRLPLAN) PKLIST(*.DRLPLAN.*) -
ACTION(REPLACE) RETAIN
RUN PROGRAM(DSNTIAD) PLAN(DSNTIA12) -
LIB('hlq_db2.RUNLIB.LOAD')
END
只有启用了查询加速的Db2子系统才允许使用QUERYACCELERATION
参数。
修改TDSz配置文件数据集
现在,如果要使用AOT,请使用新参数修改DRLFPROF数据集。
/*---------------------------------------------------------------*/
/* IDAA Enablement */
/*---------------------------------------------------------------*/
def_useaot = "YES"
def_accelerator = "HOLIDAA"
def_timeint = "T"
- 如果要使用仅加速器表,请将
def_useaot
更改为“ YES”。 如果要稍后决定,请将其保留为“否”。 -
def_accelerator
=“ xxxxxxxx”(加速器的名称)。 -
def_timeint
=“H
” | “S
” | “T
”- “
H
” –时间戳四舍五入为一个小时间隔。 - “
S
” –时间戳取整到秒的间隔。 - “
T
” –时间戳是实际时间戳(默认)。
- “
安装分析组件
与其他任何组件一样,您可以使用“管理对话框”>“组件”(1.2)安装分析组件。
- 选择报告 。
- 选择组件 。
- 选择组件。
- 按F6开始安装。
- 选择组件的所需部分。
- 选择批次 。
- 要开始批处理,请在命令行上输入
Submit
。
分析表直接在Db2 Analytics Accelerator中创建。 安装所有分析组件之后,您可以在“组件”面板上检查其状态。
这些表格也可以通过TDSz面板看到。 所有分析表均以A_开头。
此外,您还可以通过报告对话框使用一些示例报告。 所有分析样本报告ID均以A开头。
由于分析组件基于经典组件,因此复制在经典表上运行的任何现有报告并将其转换为在分析表上运行应该不难。
自定义LOOKUP定义
现在,如果需要,您应该自定义分析组件的LOOKUP定义,以反映经典查找表的内容。 每个分析组件查找表均基于非分析组件查找表。 仅当使用Tivoli Decision Support for z / OS来收集和填充Db2 for z / OS上的组件表时(在这种情况下,您没有使用TDSz collect),或者如果您使用Tivoli Decision Support for z / OS报告(您可能正在使用)。
如果仅将数据收集到Db2 Analytics Accelerator中并且不将数据驻留在Db2 for z / OS中,则应该自定义Common Data Provider的成员。 然后,您需要在Common Data Provider中将查找表配置为z / OS(在这种情况下,您正在将数据收集到Db2 Analytics Accelerator中)。 最好将成员从SHBODEFS数据集复制到一些新创建的LOCAL.DEFS数据集。
表1. CDPz查找表成员
HBO v rm。 SHBODEFS成员名称 | Analytics组件查找表名称 | 基于非分析组件的查找表名称 |
---|---|---|
HBOTA2AP | A_DB2_APPLICATION | DB2_APPLICATION |
HBOTA2AC | A_DB2_ACCUMAC | DB2_ACCUMAC |
博塔鲁格 | A_USER_GROUP | USER_GROUP |
HBOTALKP | A_KPM_THRESHOLDS_L | KPM_THRESHOLDS |
HBOTALWL | A_WORKLOAD2_L | MVS_WORKLOAD2_TYPE |
博塔米 | A_MIPS_L | MVS_MIPS_T |
HBOTALSP | A_SYSPLEX_L | MVS_SYSPLEX |
HBOTALWL | A_WORKLOAD_L | MVS_WORKLOAD_TYPE |
HBOTALW2 | A_WORKLOAD2_L | MVS_WORKLOAD2_TYPE |
博塔达 | A_DEVICE_ADDR_L | MVSPM_DEVICE_ADDR |
HBOTALUT | A_UNIT TYPE_L | MVSPM_UNIT_TYPE |
HBOTALTR | A_TIME_RES_L | MVSPM_TIME_RES |
收集IDAA_ONLY表
现在,您可以将SMF数据收集到Db2 Analytics Accelerator。
CDPz收集
首先,您应该运行CDPz随附的JCL作业,以为分析组件为Accelerator创建的表生成Db2内部格式数据。 修改以下作业并将它们从SHBOCNTL提交到LOCAL.CNTL数据集,以根据提供的SMF日志数据集创建登台数据集:
-
HBOA2DUN
–分析– Db2 -
HBOAKDUN
–分析– KPM Db2 -
HBOAPMUN
–分析– z / OS性能 -
HBOAKZUN
–分析– KPM z / OS,如果仍然缺少SHBODEFS(HBOTPERI),请添加 -
HBOAKCUN
–分析– KPM CICS
STEPLIB
应该包含CDPz SHBOLOAD
数据集。
HBOLOG应该包含您要收集的SMF数据集。
运行作业后,可以在输出中检查统计信息:
Db2 Analytics Accelerator负载
用于z / OS V2.1的Db2 Analytics Accelerator Loader用于将由系统数据引擎(SDE)创建的Db2内部格式数据集直接加载到Db2 Analytics Accelerator中,而无需将数据保留在Db2 for z / OS中。 作业由CDPz提供。
修改作业并将其从SDRLCNTL提交到LOCAL.CNTL数据集,以使用加载程序将登台数据集上载到Accelerator:
-
DRLJA2DD
–分析– Db2 -
DRLJAKDD
–分析– KPM Db2 -
DRLJAPMD
–分析– z / OS性能 -
DRLJAKZD
–分析– KPM z / OS -
DRLJAKCD
–分析– KPM CICS
组件中的每个表都有LOAD
语句:
作业输出包含有关每个语句的统计信息:
结合收集和加载
您还可以将CDPz Collect
和Db2 Analytics Accelerator Load
到一个JCL中。
TDSz收集
您仍应将TDSz COLLECT用于非分析组件,但要排除A_ *表。
实施不使用仅加速器表
如前所述,有两种方法可以实现将SMF数据直接发送到Db2 Analytics Accelerator表。 本节说明了如何分阶段进行。 在TDSz中安装分析组件时,首先在Db2中创建表,然后在准备好后将表移至Db2 Analytics Accelerator中。 在上一节(“ 使用仅使用Accelerator的表的实现 ”)中,当您在TDSz中安装分析组件时,这些表将直接创建到Db2 Analytics Accelerator中。
阶段1:使用Db2中的表运行分析
在第1阶段中,您将运行在Db2中创建的分析组件表。 如果您没有用于z / OS的Db2 Analytics Accelerator或通用数据提供程序,甚至可以安装分析组件。 稍后,准备就绪后,您可以启用表格进行加速并将其移至Db2 Analytics Accelerator。
绑定用于Tivoli Decision Support的Db2计划
在应用了必需的PTF并运行了所有操作(包括刷新系统表)之后,您需要通过指定BIND
选项QUERYACCELERATION(ELIGIBLE
)或QUERYACCELERATION(ENABLE)
重新绑定用于Tivoli Decision Support的Db2计划。
您可以使用SDRLCNTL数据集中的DRLJDBIN示例(用于创建TDSz数据库的示例)。
//DBINIT EXEC PGM=IKJEFT01
//STEPLIB DD DISP=SHR,DSN=hlq_db2.SDSNEXIT
// DD DISP=SHR,DSN=hlq_db2.SDSNEXIT
//DBRMLIB DD DISP=SHR,DSN=hlq_tds.SDRLCNTL(DRLPSQLX)
//SYSPRINT DD SYSOUT=*
//SYSTSPRT DD SYSOUT=*
//SYSTSIN DD *
DSN SYSTEM(DSN)
BIND PACKAGE(DRLPLAN) MEMBER(DRLPSQLX) -
ACTION(REPLACE) ISOLATION(CS) ENCODING(EBCDIC)
QUERYACCELERATION(ELIGIBLE)
BIND PLAN(DRLPLAN) PKLIST(*.DRLPLAN.*) -
ACTION(REPLACE) RETAIN
RUN PROGRAM(DSNTIAD) PLAN(DSNTIA12) -
LIB('hlq_db2.RUNLIB.LOAD')
END
修改TDSz配置文件数据集
现在,在这种情况下,您将不使用AOT,因此不必修改DRLFPROF 。 您可以保留其默认值:
/*---------------------------------------------------------------*/
/* IDAA Enablement */
/*---------------------------------------------------------------*/
def_useaot = "NO"
def_accelerator = "HOLIDAA"
def_timeint = "T"
- 如果要使用仅加速器表,请将
def_useaot
更改为“ YES”。 如果要稍后决定,请将其保留为“否”。 -
def_accelerator
=“ xxxxxxxx”(加速器的名称)。 -
def_timeint
=“H
” | “S
” | “T
”- “
H
” –时间戳四舍五入为一个小时间隔。 - “
S
” –时间戳取整到秒的间隔。 - “
T
” –时间戳是实际时间戳(默认)。
- “
自定义LOOKUP定义
现在,如果需要,您应该自定义分析组件的LOOKUP定义,以反映经典查找表的内容。 每个分析组件查找表均基于非分析组件查找表。 如果计划从Db2运行分析组件,则可以通过将适当的成员从SDRLDEFS数据集复制到LOCAL.DEFS数据集来自定义LOOKUP定义成员。 您可以在安装适当的组件后决定更新LOOKUP表。
如果您正在使用Tivoli Decision Support for z / OS来收集和填充Db2 for z / OS上的组件表(在这种情况下,您可能正在使用TDSz Collect),那么应该定制查找表。 另外,如果您正在使用Tivoli Decision Support for z / OS报告,则应该定制查找表(在这种情况下可能要这样做)。
表2. TDSz查找表成员
Tivoli Decision Support for z / OS成员名称 | Tivoli Decision Support for z / OS组件表名称 | Tivoli Decision Support for z / OS分析组件表名称 |
---|---|---|
DRLTA2AP | DB2_APPLICATION | A_DB2_APPLICATION |
DRLTA2AC | DB2_ACCUMAC | A_DB2_ACCUMAC |
德鲁塔鲁格 | USER_GROUP | A_USER_GROUP |
DRLTALKP | KPM_THRESHOLDS | A_KPM_THRESHOLDS_L |
DRLTALW2 | MVS_WORKLOAD2_TYPE | A_WORKLOAD2_L |
德塔达 | MVSPM_DEVICE_ADDR | A_DEVICE_ADDR_L |
德鲁塔 | MVSPM_UNIT_TYPE | A_UNIT_TYPE_L |
德尔塔米 | MVS_MIPS_T | A_MIPS_L |
DRLTALSP | MVS_SYSPLEX | A_SYSPLEX_L |
DRLTALWL | MVS_WORKLOAD_TYPE | A_WORKLOAD_L |
DRLTALW2 | MVS_WORKLOAD2_TYPE | A_WORKLOAD2_L |
DRLTALTR | MVSPM_TIME_RES | A_TIME_RES_L |
安装分析组件
与其他任何组件一样,您可以使用“管理对话框”>“组件”(1.2)安装分析组件。
- 选择报告 。
- 选择组件 。
- 选择组件。
- 按F6开始安装。
现在,您提交批处理作业,然后创建组件。 这些表是在Db2中创建的。 所有分析表均以A_开头。
另外,您可以通过报告对话框使用一些示例报告。 所有分析样本报告ID均以A开头。
因为分析组件基于经典组件,所以复制在经典表上运行的任何现有报告并将其转换为在分析表上运行应该不难。
您现在可以将分析组件与任何其他组件一起使用。
阶段2:使用Db2 Analytics Accelerator中的表运行分析组件
在第1阶段中,您安装了具有在Db2中创建的表的分析组件; 它们可能已经启用了加速功能。 现在,在阶段2中,您准备将表移至Db2 Analytics Accelerator,因此它们将成为Accelerator Only Tables(AOT)。
将分析组件中的表添加到Accelerator
从SDRLCNTL修改并提交成员,以将表添加到Accelerator(请注意,此示例使用从SAQTSAMP编译的AQTSCALL):
DRLJAKDA
–分析DRLJAKDA
Db2
DRLJA2DA
–分析DRLJA2DA
DRLJAKZA
–分析DRLJAKZA
z / OS
DRLJAPMA
–分析-z / OS
DRLJAKCA
–分析DRLJAKCA
CICS
注意 :如果未编译AQTSCALL,则可以使用SAQTSAMP中的样本作业AQTSJI03。
将查找表内容从分析组件移动到Accelerator
从SDRLCNTL修改并提交成员,以将查找表的内容移动到Accelerator:
DRLJA2DK
–分析DRLJA2DK
DRLJAKZK
–分析DRLJAKZK
z / OS
DRLJAPMK
–分析-z / OS
自定义LOOKUP定义
现在,如果需要,您应该自定义分析组件的LOOKUP定义以反映经典查找表的内容。
每个分析组件查找表均基于非分析组件查找表。
如果仅将数据收集到Db2 Analytics Accelerator中并且不将数据驻留在Db2 for z / OS中,则应该自定义Common Data Provider的成员。 您将在Common Data Provider中将查找表配置为z / OS。 在这种情况下,您将把数据收集到Db2 Analytics Accelerator中。 最好将成员从SHBODEFS数据集复制到新创建的LOCAL.DEFS数据集。 参见表1。
收集IDAA_ONLY表
注意:此部分与上面的“ 为IDAA_ONLY表收集 ”相同。 为方便起见,在此重复。
现在,您准备将SMF数据收集到Db2 Analytics Accelerator。
CDPz收集
首先,您应该运行CDPz随附的JCL作业,以为分析组件为Accelerator创建的表生成Db2内部格式数据。 修改以下作业并将它们从SHBOCNTL提交到LOCAL.CNTL数据集,以根据提供的SMF日志数据集创建登台数据集:
-
HBOA2DUN
–分析– Db2 -
HBOAKDUN
–分析– KPM Db2 -
HBOAPMUN
–分析– z / OS性能 -
HBOAKZUN
–分析– KPM z / OS -
HBOAKCUN
–分析– KPM CICS
STEPLIB
应该包含CDPz SHBOLOAD
数据集。
HBOLOG应该包含您要收集的SMF数据集。
运行作业后,可以在输出中检查统计信息:
Db2 Analytics Accelerator负载
用于z / OS V2.1的Db2 Analytics Accelerator Loader用于将SDE创建的Db2内部格式数据集直接加载到Db2 Analytics Accelerator中,而无需将数据保留在Db2 for z / OS中。 作业由CDPz提供。
修改作业并将其从SDRLCNTL提交到LOCAL.CNTL数据集,以使用加载程序将登台数据集上载到Accelerator:
-
DRLJA2DD
–分析– Db2 -
DRLJAKDD
–分析– KPM Db2 -
DRLJAPMD
–分析– z / OS性能 -
DRLJAKZD
–分析– KPM z / OS -
DRLJAKCD
–分析– KPM CICS>
组件中的每个表都有LOAD
语句:
作业输出包含有关每个语句的统计信息:
结合收集和加载
您还可以将CDPz Collect
和Db2 Analytics Accelerator Load
到一个JCL中。
TDSz收集
您仍应将TDSz COLLECT用于非分析组件,但要排除A_ *表。
结论
本教程向您展示了如何在TDSz,CDPz和Db2 Analytics Accelerator之间实现集成,以使用“仅Accelerator表”将SMF数据直接发送到Db2 Analytics Accelerator。 您探索了两种不同的方法:
- 通过在安装分析组件时直接在Db2 Analytics Accelerator中使用TDSz模式创建表
- 分阶段进行,方法是像使用TDSz的非分析组件一样先在Db2中创建表,然后将表移至Db2 Analytics Accelerator
在这两种情况下,您都需要一个用于z / OS的通用数据提供程序,该程序将SMF数据收集到Db2 Analytics Accelerator中。
翻译自: https://www.ibm.com/developerworks/library/ba-smf-data-db2-analytics-accelerator/index.html
数据转发功能 smf