流集数据收集器配置：启用外部 JMX 工具

启用外部 JMX 工具

数据收集器使用 JMX 指标生成正在运行的管道状态的图形显示。如果需要，您可以向外部工具提供相同的 JMX 指标。

JMX 指标提供的信息包括管道详细信息，如每批错误记录数或管道使用的内存量的直方图。还提供了与阶段相关的详细信息，例如输出记录数或阶段错误。某些阶段具有与阶段相关的自定义指标。

以下 Java 环境变量在指定端口上公开数据收集器 JMX 衡量指标，从而允许与外部工具集成：

• com.sun.management.jmxremote
• com.sun.management.jmxremote.port=<port_number>
• com.sun.management.jmxremote.local.only=<true |错误>
• com.sun.management.jmxremote.authenticate=<true |错误>
• com.sun.management.jmxremote.ssl=<true |错误>

可以在命令行中将变量作为SDC_JAVA_OPTS环境变量的一部分传递。或者，可以将变量添加到安装类型所需文件中的SDC_JAVA_OPTS环境变量中，如修改环境变量中所述。

例如，以下变量集通过端口 3333 传递 JMX 衡量指标：

<span style="color:#000000"><span style="background-color:#ffffff"><span style="color:#333333"><span style="background-color:#eeeeee"><code>export SDC_JAVA_OPTS="-Dcom.sun.management.jmxremote \
-Dcom.sun.management.jmxremote.port=3333 \
-Dcom.sun.management.jmxremote.local.only=false \
-Dcom.sun.management.jmxremote.authenticate=false \
-Dcom.sun.management.jmxremote.ssl=false"</code></span></span></span></span>

在外部工具中查看 JMX 指标

您可以在外部工具中查看数据收集器 JMX 指标。数据收集器 JMX 指标名称都以“sdc.管道”开头。

数据收集器JMX 指标使用以下命名模式：

<span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.<category: pipeline|stage|custom>.\
[<stage library>_<library revision>].<metric name>.<metric type></code></span></span>

例如，下面是名为“写入 Kafka”的管道的第一个修订版本的批处理计数计量器：

<span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.Write to Kafka.0.pipeline.batchCount.meter</code></span></span>

以下指标是同一“写入 Kafka”管道中文件尾部原点所消耗内存的计数器：

<span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.Write to Kafka.0.stage.\
com_streamsets_pipeline_stage_origin_logtail_FileTailDSource_1.memoryConsumed.counter</code></span></span>

自定义指标

数据收集器为某些阶段提供自定义指标。当管道包含以下阶段时，您可以在“监视”模式下的数据收集器 UI 中查看这些阶段的自定义指标，或者在使用外部工具查看 JMX 指标时查看这些阶段的自定义指标：

文件尾部原点

除了可用于源的标准指标外，文件尾部还提供以下自定义指标：

• 偏移延迟 - 正在读取的文件中剩余的数据量。此衡量指标在外部工具中显示如下：

  <span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\
  com_streamsets_pipeline_stage_origin_logtail_FileTailDSource_\
  <library version>.offsets.lag.<file path>.counter</code></span></span>

• 挂起的文件 - 目录中仍需要读取的文件数。此衡量指标在外部工具中显示如下：

  <span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\
  com_streamsets_pipeline_stage_origin_logtail_FileTailDSource_\
  <library version>.pending.files.<file path>.counter</code></span></span>

亚马逊 S3 目的地

除了可用于源的标准指标外，Amazon S3 还提供以下自定义指标：

• 传输速率 KB 计量 - 以 KB 为单位显示传输速率。当目标文件以整个文件数据格式写入目标系统时显示。计数器在外部工具中显示如下：

  <span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\
  com_streamsets_pipeline_stage_destination_s3_\
  AmazonS3DTarget_<library version>.transferRateKb.meter</code></span></span>

哈多普 FS 目的地

除了可用于源的标准指标外，Hadoop FS 还提供以下自定义指标：

• 延迟记录计量器和计数器 - 写入 HDFS 的延迟记录数。计数器在外部工具中显示如下：

  <span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\
  com_streamsets_pipeline_stage_destination_HdfsTarget_\ 
  HDFSDTarget_<library version>.lateRecords.<counter | metric></code></span></span>

• 到 HDFS 记录仪表和计数器。写入 HDFS 的记录数。计数器在外部工具中显示如下：

  <span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\
  com_streamsets_pipeline_stage_destination_HdfsTarget_\
  HDFSDTarget_<library version>.hdfsRecords.<counter | metric> </code></span></span>

• 传输速率 KB 计量 - 以 KB 为单位显示传输速率。当目标文件以整个文件数据格式写入目标系统时显示。计数器在外部工具中显示如下：

  <span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\
  com_streamsets_pipeline_stage_destination_HdfsTarget_HDFSDTarget_\
  <library version>.transferRateKb.meter</code></span></span>

本地金融服务目的地

除了可用于源的标准指标外，本地 FS 还提供以下自定义指标：

• 延迟记录计量器和计数器 - 写入本地文件系统的延迟记录数。计数器在外部工具中显示如下：

  <span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\
  com_streamsets_pipeline_stage_destination_localfilesystem_\
  LocalFileSystemDTarget_<library version>.lateRecords.\
  <counter | metric></code></span></span>

• 到 HDFS 记录仪表和计数器。写入本地文件系统的记录数。计数器在外部工具中显示如下：

  <span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\
  com_streamsets_pipeline_stage_destination_localfilesystem_\
  LocalFileSystemDTarget_<library version>.hdfsRecords.\
  <counter | metric></code></span></span>

• 传输速率 KB 计量 - 以 KB 为单位显示传输速率。当目标文件以整个文件数据格式写入目标系统时显示。计数器在外部工具中显示如下：

  <span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\
  com_streamsets_pipeline_stage_destination_localfilesystem_\
  LocalFileSystemDTarget_<library version>.transferRateKb.meter</code></span></span>

枫叶地图目的地

除了可用于源的标准指标外，MapR FS还提供以下自定义指标：

• 延迟记录计量器和计数器 - 写入 MapR FS 的延迟记录数。计数器在外部工具中显示如下：

  <span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\
  com_streamsets_pipeline_stage_destination_marpfs_\
  MaprFSDTarget_<library version>.lateRecords.<counter | metric></code></span></span>

• 到 HDFS 记录仪表和计数器。写入映射映像 FS 的记录数。计数器在外部工具中显示如下：

  <span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\
  com_streamsets_pipeline_stage_destination_marpfs_\
  MaprFSDTarget_<library version>.hdfsRecords.<counter | metric></code></span></span>

• 传输速率 KB 计量 - 以 KB 为单位显示传输速率。当目标文件以整个文件数据格式写入目标系统时显示。计数器在外部工具中显示如下：

  <span style="color:#333333"><span style="background-color:#eeeeee"><code>sdc.pipeline.<pipeline name>.<pipeline revision>.custom.\
  com_streamsets_pipeline_stage_destination_marpfs_MaprFSDTarget_\
  <library version>.transferRateKb.meter</code></span></span>