Tranquility 开源项目教程

Tranquility 开源项目教程

tranquilityTranquility helps you send real-time event streams to Druid and handles partitioning, replication, service discovery, and schema rollover, seamlessly and without downtime.项目地址:https://gitcode.com/gh_mirrors/tr/tranquility

项目介绍

Tranquility 是一个用于实时数据摄取到 Apache Druid 的项目。它能够处理高吞吐量的数据流，并确保数据被及时地索引和查询。Tranquility 支持多种数据源，包括 Kafka、HTTP 和 Storm，使其成为一个灵活且强大的工具。

项目快速启动

环境准备

在开始之前，确保你已经安装了以下软件：

• Java 8 或更高版本
• Apache Druid
• Kafka（可选，如果使用 Kafka 作为数据源）

下载与配置

1. 克隆项目仓库：

   git clone https://github.com/druid-io/tranquility.git
   cd tranquility
   

2. 构建项目：

   ./gradlew build
   

3. 配置 Tranquility： 创建一个配置文件 tranquility-config.json，示例如下：

   {
     "dataSources": {
       "metrics": {
         "spec": {
           "dataSchema": {
             "dataSource": "metrics",
             "parser": {
               "type": "string",
               "parseSpec": {
                 "format": "json",
                 "timestampSpec": {
                   "column": "timestamp",
                   "format": "iso"
                 },
                 "dimensionsSpec": {
                   "dimensions": [
                     "metric",
                     "host"
                   ]
                 }
               }
             },
             "granularitySpec": {
               "type": "uniform",
               "segmentGranularity": "HOUR",
               "queryGranularity": "NONE"
             },
             "metricsSpec": [
               {
                 "name": "count",
                 "type": "count"
               },
               {
                 "name": "value_sum",
                 "type": "doubleSum",
                 "fieldName": "value"
               }
             ]
           },
           "ioConfig": {
             "type": "realtime"
           },
           "tuningConfig": {
             "type": "realtime",
             "maxRowsInMemory": 100000,
             "windowPeriod": "PT10M"
           }
         },
         "properties": {
           "task.partitions": "1",
           "task.replicants": "1",
           "maxBatchSize": "100000",
           "maxLatency": "60000",
           "windowPeriod": "PT10M"
         }
       }
     },
     "properties": {
       "druid.selectors.indexing.serviceName": "druid/overlord",
       "druid.discovery.curator.path": "/druid/discovery",
       "druid.extensions.loadList": ["druid-kafka-eight"]
     }
   }
   

启动 Tranquility

使用以下命令启动 Tranquility：

java -jar server/target/tranquility-server-*-SNAPSHOT-jar-with-dependencies.jar -configFile tranquility-config.json

应用案例和最佳实践

应用案例

Tranquility 广泛应用于需要实时数据处理的场景，例如：

• 实时监控系统
• 实时分析和报告
• 实时日志处理

最佳实践

• 合理配置数据源：根据数据量和查询需求，合理配置数据源的参数，如 maxRowsInMemory 和 windowPeriod。
• 监控和调优：定期监控 Tranquility 的性能，并根据需要进行调优。
• 错误处理：实现有效的错误处理机制，确保数据摄取的稳定性。

典型生态项目

Tranquility 通常与以下项目一起使用，形成强大的实时数据处理生态系统：

• Apache Druid：用于实时数据存储和查询。
• Apache Kafka：用于数据流的接收和分发。
• Apache Storm：用于实时数据处理和计算。

通过这些项目的协同工作，可以构建出高效、稳定的实时数据处理系统。

tranquilityTranquility helps you send real-time event streams to Druid and handles partitioning, replication, service discovery, and schema rollover, seamlessly and without downtime.项目地址:https://gitcode.com/gh_mirrors/tr/tranquility