启用外部 JMX 工具
数据收集器使用 JMX 指标生成正在运行的管道状态的图形显示。如果需要,您可以向外部工具提供相同的 JMX 指标。
JMX 指标提供的信息包括管道详细信息,如每批错误记录数或管道使用的内存量的直方图。还提供了与阶段相关的详细信息,例如输出记录数或阶段错误。某些阶段具有与阶段相关的自定义指标。
- com.sun.management.jmxremote
- com.sun.management.jmxremote.port=<port_number>
- com.sun.management.jmxremote.local.only=<true |错误>
- com.sun.management.jmxremote.authenticate=<true |错误>
- com.sun.management.jmxremote.ssl=<true |错误>
可以在命令行中将变量作为SDC_JAVA_OPTS环境变量的一部分传递。或者,可以将变量添加到安装类型所需文件中的SDC_JAVA_OPTS环境变量中,如修改环境变量中所述。
例如,以下变量集通过端口 3333 传递 JMX 衡量指标:
<span style="color:#000000"><span style="background-color:#ffffff"><span style="color:#333333"><span style="background-color:#eeeeee"><code>export SDC_JAVA_OPTS="-Dcom.sun.management.jmxremote \
-Dcom.sun.management.jmxremote.port=3333 \
-Dcom.sun.management.jmxremote.local.only=false \
-Dcom.sun.management.jmxremote.authenticate=false \
-Dcom.sun.management.jmxremote.ssl=false"</code></span></span></span></span>
在外部工具中查看 JMX 指标
您可以在外部工具中查看数据收集器 JMX 指标。数据收集器 JMX 指标名称都以“sdc.管道”开头。
数据收集器JMX 指标使用以下命名模式:
<span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.<category: pipeline|stage|custom>.\
[<stage library>_<library revision>].<metric name>.<metric type></code></span></span>
例如,下面是名为“写入 Kafka”的管道的第一个修订版本的批处理计数计量器:
<span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.Write to Kafka.0.pipeline.batchCount.meter</code></span></span>
<span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.Write to Kafka.0.stage.\
com_streamsets_pipeline_stage_origin_logtail_FileTailDSource_1.memoryConsumed.counter</code></span></span>
自定义指标
数据收集器为某些阶段提供自定义指标。当管道包含以下阶段时,您可以在“监视”模式下的数据收集器 UI 中查看这些阶段的自定义指标,或者在使用外部工具查看 JMX 指标时查看这些阶段的自定义指标:
文件尾部原点
除了可用于源的标准指标外,文件尾部还提供以下自定义指标:- 偏移延迟 - 正在读取的文件中剩余的数据量。此衡量指标在外部工具中显示如下:
<span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\ com_streamsets_pipeline_stage_origin_logtail_FileTailDSource_\ <library version>.offsets.lag.<file path>.counter</code></span></span>
- 挂起的文件 - 目录中仍需要读取的文件数。此衡量指标在外部工具中显示如下:
<span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\ com_streamsets_pipeline_stage_origin_logtail_FileTailDSource_\ <library version>.pending.files.<file path>.counter</code></span></span>
亚马逊 S3 目的地
除了可用于源的标准指标外,Amazon S3 还提供以下自定义指标:
- 传输速率 KB 计量 - 以 KB 为单位显示传输速率。当目标文件以整个文件数据格式写入目标系统时显示。计数器在外部工具中显示如下:
<span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\ com_streamsets_pipeline_stage_destination_s3_\ AmazonS3DTarget_<library version>.transferRateKb.meter</code></span></span>
哈多普 FS 目的地
除了可用于源的标准指标外,Hadoop FS 还提供以下自定义指标:- 延迟记录计量器和计数器 - 写入 HDFS 的延迟记录数。计数器在外部工具中显示如下:
<span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\ com_streamsets_pipeline_stage_destination_HdfsTarget_\ HDFSDTarget_<library version>.lateRecords.<counter | metric></code></span></span>
- 到 HDFS 记录仪表和计数器。写入 HDFS 的记录数。计数器在外部工具中显示如下:
<span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\ com_streamsets_pipeline_stage_destination_HdfsTarget_\ HDFSDTarget_<library version>.hdfsRecords.<counter | metric> </code></span></span>
- 传输速率 KB 计量 - 以 KB 为单位显示传输速率。当目标文件以整个文件数据格式写入目标系统时显示。计数器在外部工具中显示如下:
<span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\ com_streamsets_pipeline_stage_destination_HdfsTarget_HDFSDTarget_\ <library version>.transferRateKb.meter</code></span></span>
本地金融服务目的地
除了可用于源的标准指标外,本地 FS 还提供以下自定义指标:- 延迟记录计量器和计数器 - 写入本地文件系统的延迟记录数。计数器在外部工具中显示如下:
<span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\ com_streamsets_pipeline_stage_destination_localfilesystem_\ LocalFileSystemDTarget_<library version>.lateRecords.\ <counter | metric></code></span></span>
- 到 HDFS 记录仪表和计数器。写入本地文件系统的记录数。计数器在外部工具中显示如下:
<span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\ com_streamsets_pipeline_stage_destination_localfilesystem_\ LocalFileSystemDTarget_<library version>.hdfsRecords.\ <counter | metric></code></span></span>
- 传输速率 KB 计量 - 以 KB 为单位显示传输速率。当目标文件以整个文件数据格式写入目标系统时显示。计数器在外部工具中显示如下:
<span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\ com_streamsets_pipeline_stage_destination_localfilesystem_\ LocalFileSystemDTarget_<library version>.transferRateKb.meter</code></span></span>
枫叶地图目的地
除了可用于源的标准指标外,MapR FS还提供以下自定义指标:- 延迟记录计量器和计数器 - 写入 MapR FS 的延迟记录数。计数器在外部工具中显示如下:
<span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\ com_streamsets_pipeline_stage_destination_marpfs_\ MaprFSDTarget_<library version>.lateRecords.<counter | metric></code></span></span>
- 到 HDFS 记录仪表和计数器。写入映射映像 FS 的记录数。计数器在外部工具中显示如下:
<span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\ com_streamsets_pipeline_stage_destination_marpfs_\ MaprFSDTarget_<library version>.hdfsRecords.<counter | metric></code></span></span>
- 传输速率 KB 计量 - 以 KB 为单位显示传输速率。当目标文件以整个文件数据格式写入目标系统时显示。计数器在外部工具中显示如下:
<span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\ com_streamsets_pipeline_stage_destination_marpfs_MaprFSDTarget_\ <library version>.transferRateKb.meter</code></span></span>