Druid Tranquility使用（上篇）

最新推荐文章于 2020-11-20 20:45:21 发布
最新推荐文章于 2020-11-20 20:45:21 发布
阅读量192 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tianshishangxin1/article/details/103255072
版权

1、Tranquility 是单独的http server服务，需要另行下载，下载地址

http://druid.io/downloads.html 

2、启动tranquilty

  nohup  bin/tranquility server -configFile ./conf/pageviews.json >start.log &

 json 文件如下：

{
  "dataSources" : {
    "pageviews" : {
      "spec" : {
        "dataSchema" : {
         
          "dataSource" : "pageviews",
          "parser" : {
            "type" : "string",
            "parseSpec" : {
             
              "timestampSpec" : {
                "column" : "time",
                "format" : "auto"
              },
              "dimensionsSpec" : {
          
                "dimensions" : ["url", "user"],
                "dimensionExclusions" : [
                  "timestamp",
                  "value"
                ]
              },
              "format" : "json"
            }
          },
          "granularitySpec" : {
            "type" : "uniform",
            "segmentGranularity" : "hour",
            "queryGranularity" : "none"
          },
        
          "metricsSpec" : [
            {
              "name": "views",
              "type": "count"
            },
            {
              "name": "latencyMs", 
              "type": "doubleSum", 
              "fieldName": "latencyMs"
            }
          ]
        },
        "ioConfig" : {
          "type" : "realtime"
        },
        "tuningConfig" : {
          "type" : "realtime",
          "maxRowsInMemory" : "100000",
          "intermediatePersistPeriod" : "PT10M",
          "windowPeriod" : "PT10M"
        }
      },
      "properties" : {
        "task.partitions" : "1",
        "task.replicants" : "1"
      }
    }
  },
  "properties" : {
    "zookeeper.connect" : "localhost",
    "druid.discovery.curator.path" : "/druid/discovery",
    "druid.selectors.indexing.serviceName" : "druid/overlord",
    "http.port" : "8200",
    "http.threads" : "8"
  }
}

3、通过http 直接发送数据 http://192.168.2.41:8200/v1/post/pageviews

{"time": 1501650962363, "url": "/foo/bar", "user": "alice", "latencyMs": 32}

163435_2XpD_3247419.png

pageviews ：datasource

发送成功后 {
    "result": {
        "received": 5,
        "sent": 5
    }
}

如果 sent :0 则，数据未正常发送到druid ,未正常发送原因

1、druid 问题 检查middleManger overlord 节点配置内存

2、发送的时间戳，需要在10分钟内

 

极客架构
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Tranquility 写入数据到 Druid
乔的博客
03-19 2994
需求 启动一个单机版 Druid 直接通过一个客户端写一些数据进去，不通过其他 kafka 或者 批量导入之类的 调研出来的方案 启动 Druid + tranquility Druid+Tranquility 快速启动：http://druid.io/docs/latest/tutorials/tutorial-tranquility.html Tranquility仓库：https:/...
Druid学习笔记（4）数据摄入总结
不积跬步，无以至千里；不积小流，无以成江海！
12-13 6008
1. 概述Druid的数据摄入主要包括两大类： 1. 实时输入摄入：包括Pull,Push两种 - Pull:需要启动一个RealtimeNode节点，通过不同的Firehose摄取不同种类的数据源。 - Push:需要启动Tranquility或是Kafka索引服务。通过HTTP调用的方式进行数据摄入 2. 离线数据摄入:可以通过Realtime节点摄入，也可以通过索引节点启动任务摄入本文
快速学习-Druid数据摄入之Tranquility
逍遥云恋
03-23 814
第7章 Druid数据摄入之Tranquility 在上面的内容中，我们学习了如何通过索引服务器摄取数据，然而索引服务器的API太过底层，运用起来比较麻烦。Tranquility对索引服务的API进行了封装，可以方便创建任务，处理分片，复制、服务器发现以及无缝的数据结构调整。 向Druid发送数据，需将Tranquility库依赖到程序中。 地址：https://github.com/druid-...
Druid Tranquility
来啊 快活啊
12-31 1087
Druid Tranquility
Druid 入门
11-18
- **Tranquility 的使用**：通过 Tranquility API，可以将实时数据流直接发送到 Druid 系统中，实现高速的数据写入。这一过程通常涉及到配置数据格式、定义数据摄入管道等步骤。 #### 结论 Druid 作为一款专为实时...
druid.io集群与tranquility对zookeeper的使用（1）
master-dragon的专栏
11-09 420
druid.io对zookeeper的使用概述 zookeeper：文件系统+监听通知，分布式系统常用作元数据管理相关。druid.io集群用到的归纳起来主要有 coordinator / overlord 主从模式 各个节点健康状态 任务相关：包括任务运行overlord转发到middleManager,Peon进程，任务运行状态等 segment元数据相关 对zookeeper的使用还是要具体写了什么内容到zookeeper上，读写情况怎样的（不过一般这都有监控告警），需要了解zookeeper是如
Druid系列 《二》Druid使用与安装
sinat_32176267的博客
08-31 2769
  2.1加载数据到Druid Druid支持流式（实时）和基于文件（批量）的数据提取方式。最常用的配置是： Files - 通过HDFS、S3、本地文件或者任何支持hadoop文件系统批量加载数据。如果你的数据集已经在这类文件系统中推荐使用这个方法。 Stream push - 使用Tranquility（向Druid发送流的客户端）将实时数据流推送到Druid。如果你的数据集来自于流式...
druid 理解规划
大JAVA解决方案
07-05 2043
druid 大诗兄_zl 关注2018.02.02 11:19 字数 6578 阅读 235评论 0喜欢 4Druid.io（以下简称Druid）是面向海量数据的、用于实时查询与分析的OLAP存储系统。Druid的四大关键特性总结如下：亚秒级的OLAP查询分析。Druid采用了列式存储、倒排索引、位图索引等关键技术，能够在亚秒级别内完成海量数据的过滤、聚合以及多维分析等操作。实时流数据分析。区别于...
海量时间序列数据的实时查询系统（Druid系统）概述
不要迷恋哥，哥只是coder
09-21 6133
Druid是为处理海量时间序列数据而设计的一款开源的OLAP系统。它是分布式处理系统，在设计之初就采纳了线性扩容和高可用的设计方案。集群的规模可以随着业务的增长而动态增加。要查询的数据集都做了分片（partition）和副本（replication），可以在集群部分机器down机之后，查询服务依然可用。Druid采用模块化设计的理念，模块之间的依赖通过Guice依赖注入框架自动进行，Druid支持
Druid.io系列（三）： Druid集群节点
njpjsoftdev的博客
10-28 1万+
Druid集群节点
Druid中的Kafka Indexing Service源码分析
小龙的博客
04-08 2197
Kafka Indexing Service开发的目的是为了增强Kafka中数据的实时摄入。其特性如下：保障数据摄入的Exactly Once。可以摄入任意时间戳的数据，而不仅仅是当前数据。可以根据Kafka分区的变化二调整任务的数量。影响数据摄入Exactly Once的主要因素是Kafka的Offset管理。Kafka Indexing Service为了实现Exactly Once语义，去掉...
druid.io + tranquility实时任务的表现，借助2020双11总结下
master-dragon的专栏
11-20 252
目录问题总结运维自动化？需求反复/事后通？设计上和能力不够？双11和平时的区别？druid.io表现总结个人操作总结 主要是总结下本人在双11的运维工作和一些思考 问题总结 运维自动化？ 不少问题还是通过告警，然后人工判断再操作 这里是可以自动化的，判断的条件要抽象符合逻辑（机器指标没有找运维，自身系统指标就开发，脚本能用就上），操作可以封装(有操作，有回退)，就不怕什么 需求反复/事后通？ 总是在问题暴露的时候才去考虑如何解决，事实上之前就提过，就是不重视，以为问题不大或者不重要。 所以尽早的模拟，开
推荐 tranquity 重大问题及其解决方案
大树叶 技术专栏
04-04 1508
https://fangyeqing.github.io/categories/druid-io/https://fangyeqing.github.io/2017/03/14/druid.io实践5---druid.io问题记录/https://github.com/druid-io/tranquility/blob/master/docs/configuration.md注意看实践5，这是重点...
druid之ioConfig配置
xqhys的博客
06-03 1327
转载：http://druid.io/docs/0.14.0-incubating/ingestion/firehose.html Apache Druid（孵化）Firehoses Firehoses用于本机批量摄取任务，由Tranquility自动创建的流推送任务，以及流 - 拉（已弃用）摄取模型。 它们是可插拔的，因此配置模式可以并且将根据typefirehose而变化。 领域 ...
druid如何用利用tranquity server 向druid发送实时数据
大树叶 技术专栏
04-02 1465
1. 前提条件   分布式druid系统安装已经完毕，安装过程见 https://blog.csdn.net/bigtree_3721/article/details/79583008参考doc: https://github.com/druid-io/tranquility/blob/master/docs/server.md2. 下载tranquility server官方下载地址：http:...
Druid 一次海量数据实时处理的实践
热门推荐
crasheye的博客
08-22 1万+
Druid是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统，旨在快速处理大规模的数据，并能够实现快速查询和分析
基于python贫困生资助管理系统带vue前后端分离设计源代码+文档说明+数据库文件
最新发布
09-01
基于python贫困生资助管理系统带vue前后端分离设计源代码+文档说明+数据库文件，含有代码注释，新手也可看懂，个人手打98分项目，导师非常认可的高分项目，毕业设计、期末大作业和课程设计高分必看，下载下来，简单部署，就可以使用。 基于python贫困生资助管理系统带vue前后端分离设计源代码+文档说明+数据库文件，含有代码注释，新手也可看懂，个人手打98分项目，导师非常认可的高分项目，毕业设计、期末大作业和课程设计高分必看，下载下来，简单部署，就可以使用。 基于python贫困生资助管理系统带vue前后端分离设计源代码+文档说明+数据库文件，含有代码注释，新手也可看懂，个人手打98分项目，导师非常认可的高分项目，毕业设计、期末大作业和课程设计高分必看，下载下来，简单部署，就可以使用。 基于python贫困生资助管理系统带vue前后端分离设计源代码+文档说明+数据库文件，含有代码注释，新手也可看懂，个人手打98分项目，导师非常认可的高分项目，毕业设计、期末大作业和课程设计高分必看，下载下来，简单部署，就可以使用。基于python贫困生资助管理系统带vue前后端分离设计源代码+文档
要使用上druid数据池
06-01
如果要使用 Drui 数据源连接池，可以通过以下步骤进行整合： 1. 需要在 pom.xml 文件中添加 druid-spring-boot-starter 依赖，可以使用以下代码： ```xml <dependency> <groupId>com.alibaba</groupId> <artifactId>druid-spring-boot-starter</artifactId> <version>1.2.6</version> </dependency> ``` 2. 在 application.properties 文件中配置 Druid 数据库连接信息，可以使用以下代码： ```properties spring.datasource.url=jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=utf-8 spring.datasource.username=root spring.datasource.password=123456 spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver spring.datasource.type=com.alibaba.druid.pool.DruidDataSource spring.datasource.druid.initial-size=5 spring.datasource.druid.max-active=20 spring.datasource.druid.min-idle=5 spring.datasource.druid.max-wait=60000 spring.datasource.druid.filters=stat,wall,log4j spring.datasource.druid.connection-properties=druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000 ``` 3. 在 Spring Boot 应用程序中使用 JdbcTemplate 或者 Mybatis 等 ORM 框架进行数据库操作。 如果使用 JdbcTemplate 进行数据库操作，可以通过以下代码示例进行操作： ```java @Autowired private JdbcTemplate jdbcTemplate; public void insert(String name, Integer age) { jdbcTemplate.update("INSERT INTO user(name, age) VALUES (?, ?)", name, age); } public List<User> findAll() { return jdbcTemplate.query("SELECT * FROM user", new BeanPropertyRowMapper<>(User.class)); } ``` 如果使用 Mybatis 进行数据库操作，可以通过以下代码示例进行操作： ```java @Mapper public interface UserMapper { @Select("SELECT * FROM user WHERE id = #{id}") User findById(@Param("id") Long id); @Insert("INSERT INTO user(name, age) VALUES (#{name}, #{age})") int insert(User user); @Update("UPDATE user SET name = #{name}, age = #{age} WHERE id = #{id}") int update(User user); @Delete("DELETE FROM user WHERE id = #{id}") int deleteById(@Param("id") Long id); } ``` 需要注意的是，在 Mybatis 中，除了配置 Druid 数据库连接池信息之外，还需要在 application.properties 文件中配置 Mybatis 相关的信息，例如： ```properties mybatis.mapper-locations=classpath:mapper/*.xml mybatis.type-aliases-package=com.example.demo.model ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值