Centos7.8 安装Waterdrop

最新推荐文章于 2024-04-06 16:04:32 发布

寻找手艺人

最新推荐文章于 2024-04-06 16:04:32 发布

阅读量1.6k

点赞数

文章标签： waterdrop

本文链接：https://blog.csdn.net/u012637358/article/details/116692815

版权

1. Waterdrop由来

1.1. 什么是Waterdrop

Waterdrop 是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品，架构于Apache Spark 和 Apache Flink之上。
“Waterdrop” 的中文是“水滴”，来自中国当代科幻小说作家刘慈欣的《三体》系列，它是三体人制造的宇宙探测器，会反射几乎全部的电磁波，表面绝对光滑，温度处于绝对零度，全部由被强互作用力紧密锁死的质子与中子构成，无坚不摧。在末日之战中，仅一个水滴就摧毁了人类太空武装力量近2千艘战舰。

1.2. 为什么我们需要 Waterdrop

Databricks 开源的 Apache Spark 对于分布式数据处理来说是一个伟大的进步。我们在使用 Spark 时发现了很多可圈可点之处，同时我们也发现了我们的机会 —— 通过我们的努力让Spark的使用更简单，更高效，并将业界和我们使用Spark的优质经验固化到Waterdrop这个产品中，明显减少学习成本，加快分布式数据处理能力在生产环境落地。

除了大大简化分布式数据处理难度外，Waterdrop尽所能为您解决可能遇到的问题：

数据丢失与重复
任务堆积与延迟
吞吐量低
应用到生产环境周期长
缺少应用运行状态监控

1.3. Waterdrop 使用场景

简单易用，灵活配置，无需开发
实时流式处理
高性能
海量数据处理能力
模块化和插件化，易于扩展
支持利用SQL做数据处理和聚合
Spark Structured Streaming
支持Spark 2.x

1.4. Waterdrop 的工作流程

Input/Source[数据源输入] -> Filter/Transform[数据处理] -> Output/Sink[结果输出]

在这里插入图片描述
多个Filter构建了数据处理的Pipeline，满足各种各样的数据处理需求，如果您熟悉SQL，也可以直接通过SQL构建数据处理的Pipeline，简单高效。目前Waterdrop支持的Filter列表, 仍然在不断扩充中。您也可以开发自己的数据处理插件，整个系统是易于扩展的。

1.5. Waterdrop 支持的插件

Input/Source plugin
Fake, File, Hdfs, Kafka, S3, Socket, 自行开发的Input plugin
Filter/Transform plugin
Add, Checksum, Convert, Date, Drop, Grok, Json, Kv, Lowercase, Remove, Rename, Repartition, Replace, Sample, Split, Sql, Table, Truncate, Uppercase, Uuid, 自行开发的Filter plugin
Output/Sink plugin
Elasticsearch, File, Hdfs, Jdbc, Kafka, Mysql, S3, Stdout, 自行开发的Output plugin

1.6. 环境依赖

1.java运行环境，java >= 8

2.如果您要在集群环境中运行Waterdrop，那么需要以下Spark集群环境的任意一种：

Spark on Yarn
Spark Standalone
Spark on Mesos
如果您的数据量较小或者只是做功能验证，也可以仅使用local模式启动，无需集群环境，Waterdrop支持单机运行

2. Waterdrop安装部署

2.1. 环境准备

1.Waterdrop 依赖JDK1.8运行环境。
2.Waterdrop 依赖Spark，安装Waterdrop前，需要先准备好Spark。请先下载Spark, Spark版本请选择 >= 2.x.x。下载解压后，不需要做任何配置即可提交Spark deploy-mode = local模式的任务。如果你期望任务运行在Standalone集群或者Yarn、Mesos集群上，请参考Spark官网配置文档。

2.2. 下载安装Waterdrop

下载地址：
社区版本（Community）
https://github.com/InterestingLab/waterdrop/releases

商业版本（Enterprise）
https://pan.baidu.com/s/15y4OcpXIumahiaYM0x6oiw
下载Waterdrop安装包并解压，这里以社区版为例:

wget https://github.com/InterestingLab/waterdrop/releases/download/v<version>/waterdrop-<version>.zip -O waterdrop-<version>.zip
unzip waterdrop-<version>.zip
ln -s waterdrop-<version> waterdrop

2.3. 快速开始

我们以一个通过socket接收数据，将数据分割为多个字段，并输出处理结果的应用为例，快速展示Waterdrop的使用方法。

步骤1：配置 Waterdrop

编辑 config/waterdrop-env.sh, 指定必须环境配置如SPARK_HOME(Spark下载并解压后的目录)

编辑 config/application.conf, 它决定了Waterdrop启动后，数据输入，处理，输出的方式和逻辑。

spark {
  # Waterdrop defined streaming batch duration in seconds
  spark.streaming.batchDuration = 5

  spark.app.name = "Waterdrop"
  spark.ui.port = 13000
}

input {
  socketStream {}
}

filter {
  split {
    fields = ["msg", "name"]
    delimiter = ","
  }
}

output {
  stdout {}
}

步骤2：启动netcat server用于发送数据

nc -l -p 9999

步骤3：启动Waterdrop

cd waterdrop
./bin/start-waterdrop.sh --master local[4] --deploy-mode client --config ./config/application.conf

步骤4：在nc端输入

Hello World, Gary

Waterdrop日志打印出:

+-----------------+-----------+----+
|raw_message      |msg        |name|
+-----------------+-----------+----+
|Hello World, Gary|Hello World|Gary|
+-----------------+-----------+----+