StreamX学习笔记之介绍与安装部署

最新推荐文章于 2022-08-09 11:01:10 发布
最新推荐文章于 2022-08-09 11:01:10 发布
阅读量1.6k 收藏 5
点赞数 1
分类专栏： 大数据组件 文章标签： StreamX
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37475168/article/details/124895601
版权

介绍

StreamX 项目的初衷是——让 Flink 开发更简单, 使用 StreamX 开发，可以极大降低学习成本和开发门槛，让开发者只用关心最核心的业务，StreamX 规范了项目的配置，鼓励函数式编程，定义了最佳的编程方式，提供了一系列开箱即用的Connectors，标准化了配置、开发、测试、部署、监控、运维的整个过程，提供 scala 和 java 两套 api，其最终目的是打造一个一站式大数据平台，流批一体，湖仓一体的解决方案。

StreamX的特色有：

  1. 开发脚手架；
  2. 多版本 Flink 支持（1.12+）；
  3. 一系列开箱即用的 connectors；
  4. 支持项目编译功能（maven 编译）；
  5. 在线参数配置；
  6. 支持 Application 模式或Yarn-Per-Job 模式启动；
  7. 快捷的日常操作（任务启动、停止、savepoint，从 savepoint 恢复）；
  8. 支持火焰图；
  9. 支持 notebook（在线任务开发）；
  10. 项目配置和依赖版本化管理；
  11. 支持任务备份、回滚（配置回滚）；
  12. 在线管理依赖（maven pom）和自定义 jar；
  13. 自定义 udf、连接器等支持；
  14. Flink SQL WebIDE；
  15. 支持 catalog、hive；
  16. 任务运行失败发送告警邮件；
  17. 支持失败重启重试；
  18. 从任务开发阶段到部署管理全链路支持等

架构

在这里插入图片描述
其中：

  1. StreamX-Core的定位是一个开发时框架，关注编码开发，规范了配置文件,按照约定优于配置的方式进行开发，提供了一个开发时 RunTime Content 和一系列开箱即用的 Connector，扩展了 DataStream 相关的方法，融合了 DataStream 和 Flink sql api，简化繁琐的操作，聚焦业务本身，提高开发效率和开发体验；
  2. StreamXPump的定位是一个数据抽取的组件，类似于flinkx。它基于 streamx-core 中提供的各种 connector 开发，目的是打造一个方便快捷，开箱即用的大数据实时数据抽取和迁移组件，并且集成到 streamx-console 中，解决实时数据源获取问题，目前在规划中；
  3. StreamX-Console是一个综合实时数据平台，低代码（Low Code）平台，可以较好的管理Flink 任务，集成了项目编译、发布、参数配置、启动、savepoint，火焰图（flame graph），Flink SQL，监控等诸多功能于一体，大大简化了 Flink 任务的日常操作和维护，融合了诸多最佳实践。旧时王谢堂前燕，飞入寻常百姓家，让大公司有能力研发使用的项目，现在人人可以使用，其最终目标是打造成一个实时数仓，流批一体的一站式大数据解决方案。

部署环境介绍

基础环境如下：

软件版本是否必须其他事项
CentOS7.5是StreamX不支持Windows
Java1.8是
Maven3.8.5否需要部署应用的结点需要安装Maven
Node.js是
Flink1.13.6是版本必须是1.12及以上，scala版本必须是2.11
Hadoop2.10.1否如果需要yarn才需要Hadoop
MySQL5.7.26否
Python2.7否火焰图功能会用到Python和Perl
Perl未安装否火焰图功能会用到Python和Perl

不过Flink版本>=1.13，那么将自带火焰图，即不用额外装Python或Perl

环境准备

我主要装一下Node.js和Flink：

[root@scentos szc]# curl -fsSL https://rpm.nodesource.com/setup_16.x | sudo bash -
[root@scentos szc]# yum install -y nodejs
[root@scentos szc]# node --version
v16.14.2
[root@scentos szc]# tar -zxvf flink-1.13.6-bin-scala_2.11.tgz
[root@scentos szc]# export FLINK_HOME=/home/szc/flink-1.13.6/

对于Hadoop，安装过程参见Hadoop2.5.0在CentOS7下的安装部署，装好后，配置环境变量HADOOP_HOME跟HADOOP_CLASSPATH：

[root@scentos szc]# export PATH=$PATH:/home/szc/hadoop-2.10.1/bin/
[root@scentos szc]# export HADOOP_HOME=/home/szc/hadoop-2.10.1
[root@scentos szc]# export HADOOP_CLASSPATH=`hadoop classpath`

然后在core-site.xml中加入如下配置：

    <property>
        <name>dfs.client.datanode-restart.timeout</name>
        <value>30</value>
    </property>

安装部署StreamX

解压安装包

[root@scentos szc]# tar -zxvf streamx-console-service-1.2.2-bin.tar.gz
[root@scentos szc]# mv streamx-console-service-1.2.2 streamx-1.2.2

在MySQL中创建数据库和数据表

mysql> CREATE DATABASE `streamx` CHARACTER SET utf8 COLLATE utf8_general_ci;
Query OK, 1 row affected (0.00 sec)

mysql> use streamx;
Database changed
mysql> source C:\\Users\\songzeceng\\Desktop\\final.sql;

最后一步的final.sql来源于streamx-1.2.2/script/final.sql。

配置连接信息

[root@scentos szc]# vim streamx-1.2.2/conf/application.yml

修改内容如下：

............
     # 配置默认数据源
      primary: primary
      datasource:
        # 数据源-1，名称为 primary
        primary:
          username: root
          password: root
          driver-class-name: com.mysql.cj.jdbc.Driver
          url: jdbc:mysql://windows:3306/streamx?useUnicode=true&characterEncoding=UTF-8&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=GMT%2B8
  aop.proxy-target-class: true
............
streamx:
  # HADOOP_USER_NAME
  hadoop-user-name: root
  # 本地的工作空间,用于存放项目源码,构建的目录等.
  workspace:
    local: /home/szc/streamx_workspace
    remote: hdfs:///streamx   # support hdfs:///streamx/ 、 /streamx 、hdfs://host:ip/streamx/
............

启动并配置

[root@scentos szc]# streamx-1.2.2/bin/startup.sh

           .+.                                                 
     _____/ /_________  ____ _____ ___  _  __                  
    / ___/ __/ ___/ _ \/ __ `/ __ `__ \| |/_/                  
   (__  ) /_/ /  /  __/ /_/ / / / / / />   <                   
  /____/\__/_/   \___/\__,_/_/ /_/ /_/_/|_|                    
                                        |/                     
                                        .                      
  • WebSite:  http://www.streamxhub.com
  • GitHub :  http://github.com/streamxhub/streamx
  • Gitee  :  http://gitee.com/streamxhub/streamx
           ────────  Make stream processing easier ô~ô!

[StreamX] Using APP_BASE:   /home/szc/streamx-1.2.2
[StreamX] Using APP_HOME:   /home/szc/streamx-1.2.2
[StreamX] Using JRE_HOME:   /home/szc/jdk1.8.0_331
[StreamX] Using APP_PID:   /home/szc/streamx-1.2.2/.pid
[StreamX] Usage: properties file:application.yml
[StreamX] Using HADOOP_HOME:   /home/szc/hadoop-2.10.1
[StreamX] StreamX start successful. pid: 15772

访问centosIP:10000登录web界面，初始用户名和密码分别为admin和streamx：
在这里插入图片描述
登录后，可以看到如下界面：
在这里插入图片描述
然后通过StreamX->Setting->Flink Home配置Flink Home：
在这里插入图片描述
填写Flink版本和解压路径即可：
在这里插入图片描述
提交后结果如下：
在这里插入图片描述

部署Flink应用

部署FlinkStream应用

首先新建Idea项目：
在这里插入图片描述
pom.xml文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.szc.example</groupId>
    <artifactId>TestStreamXStream</artifactId>
    <version>1.0</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <flink.version>1.13.6</flink.version>
        <scala.binary.version>2.11</scala.binary.version>
        <slf4j.version>1.7.30</slf4j.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-runtime-web_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>${slf4j.version}</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>${slf4j.version}</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-to-slf4j</artifactId>
            <version>2.14.0</version>
            <scope>provided</scope>
        </dependency>
    </dependencies>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>3.2.4</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <artifactSet>
                                <excludes>
                                    <exclude>com.google.code.findbugs:jsr305</exclude>
                                    <exclude>org.slf4j:*</exclude>
                                    <exclude>log4j:*</exclude>
                                </excludes>
                            </artifactSet>
                            <filters>
                                <filter>
                                    <!-- Do not copy the signatures in the META-INF
                                    folder.
                                    Otherwise, this might cause SecurityExceptions when
                                    using the JAR. -->
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <transformers combine.children="append">
                                <transformer
                                        implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer">
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

</project>

示例java代码，用以统计向scentos:9999发送的字符串及出现次数，相当于WordCount：

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.java.functions.KeySelector;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

public class Main {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env =
                StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        env
                .socketTextStream("scentos", 9999)
                .flatMap(new FlatMapFunction<String, String>() {
                    @Override
                    public void flatMap(String line,
                                        Collector<String> out) throws Exception {
                        for (String word : line.split(" ")) {
                            out.collect(word);
                        }
                    }
                })
                .map(new MapFunction<String, Tuple2<String, Long>>() {
                    @Override
                    public Tuple2<String, Long> map(String word) throws Exception {
                        return Tuple2.of(word, 1L);
                    }
                })
                .keyBy(new KeySelector<Tuple2<String, Long>, String>() {
                    @Override
                    public String getKey(Tuple2<String, Long> t) throws Exception {
                        return t.f0; // t._1
                    }
                })
                .sum(1)
                .print();
        
        env.execute();
    }
}

而后将项目代码上传到github或gitee的公开仓库中：

(base) PS D:\develop\ideaWorkspace\TestStreamXStream> git init
(base) PS D:\develop\ideaWorkspace\TestStreamXStream> git remote add origin https://gitee.com/songzeceng/test-stream-x.git
(base) PS D:\develop\ideaWorkspace\TestStreamXStream> git push -u origin "master"

然后在StreamX的web界面的StreamX->Project中配置项目：
在这里插入图片描述
填写项目名、项目类型、版本控制工具、仓库URL和分支，点击提交即可：
在这里插入图片描述
完成后，点击右边的闪电图标来编译项目：
在这里插入图片描述
编译过程中：
在这里插入图片描述
第一次编译时间较久，因为要下载很多依赖。编译成功后的结果：
在这里插入图片描述
完成后，在StreamX->Application中添加应用：
在这里插入图片描述
然后按照图中所示配置项目即可：
在这里插入图片描述
剩下不带*的都不用填，注意此时要启动yarn，然后点击提交：
在这里插入图片描述
然后上线应用：在这里插入图片描述
启动完成后，启动socket，监听9999端口：

[root@scentos szc]# nc -lk 9999
再在StreamX界面上点击运行应用：
在这里插入图片描述
不用从保存点启动：
在这里插入图片描述
可以从yarn平台上(8088端口)查看，发现应用确实已经在运行了：
在这里插入图片描述
在事先启动的nc -lk中发送数据：

[root@scentos szc]# nc -lk 9999
test
test2
test
test

再查看任务的输出，在StreamX的web界面上点击应用：
在这里插入图片描述
在弹出的界面里点击Task Managers，然后点击正在运行的任务：
在这里插入图片描述
再点击stdout即可查看输出：
在这里插入图片描述

部署FlinkSQL应用

还是在StreamX的web界面上，点击StreamX->Application->添加应用：
在这里插入图片描述
注意部署模式这里应该是Flink SQL：
在这里插入图片描述
然后在FlinkSQL中写入以下语句：

create table t1 (test string) with(
  'connector' = 'kafka',
  'topic' = 't1',
  'properties.bootstrap.servers' = 'scentos:9092',
  'scan.startup.mode' = 'latest-offset',
  'format' = 'csv'
);
create table t2 (test string) with('connector' = 'print');

insert into t2 select * from t1;

在依赖一栏中选择Maven pom，并写入以下语句：

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-connector-kafka_2.11</artifactId>
  <version>1.13.6</version>
</dependency>

点击应用：
在这里插入图片描述
填写应用名：
在这里插入图片描述
再点击提交：
在这里插入图片描述
在命令行中启动Kafka命令行生产者（安装过程参见CentOS7下安装使用kafka及其监控组件）进行测试：

[root@scentos szc]# kafka-console-producer.sh --broker-list scentos:9092 --topic t1
>testtt
>test2
>
>

然后跟上一小节中一样，上传、运行应用，启动成功后的状态如下：
在这里插入图片描述
跟5.1一样，点击应用名进入控制面板，点击Task Managers->任务的Path,ID->stdout，会发现有如下输出：
在这里插入图片描述

coder_szc
关注
专栏目录
StreamX 源码编译及安装部署
lslzz2019的博客
12-26 2529
StreamX 源码编译及安装部署 一：源码编译： 1.1 环境准备： JDK 1.8 maven nodejs MySQL 1.2 下载源码并执行编译 git clone https://github.com/streamxhub/streamx.git git checkout release-1.2.0 # 切换至最新的稳定版本，默认是master，坑比较多 cd Streamx mvn clean install -DskipTests -Denv=prod #注意是否能连上GitHub，连不
一站式Flink&Spark平台解决方案——StreamX
大数据流动
12-07 703
大家好，我是独孤风。今天为大家推荐的是一个完全开源的项目StreamX。该项目的发起者Ben也是我的好朋友。什么是StreamX，StreamX 是Flink & Spark极速开...
streamx：让大数据变得轻松，轻松并激发极速开发脚手架
02-03
StreamX 让我们不轻松|火花 flink＆spark开发脚手架，封装了一系列现成的源和接收器，并标准化了flink＆spark开发，测试，部署和监视 StreamX由两部分组成：streamx-core和streamx-console，Streamx-core（Streamx-flink-core | Streamx-spark-core）是开发框架。 利用springBoot的思想，约定比配置好。 它为开发人员提供了开箱即用的来源和接收者列表，每个API均经过精心打磨，并扩展了相关方法（仅scala有效），从而大大简化了flink的开发，大大提高了开发效率和开发经验 Streamx-console是一个独立的平台，是对streamx-core的补充。 它更好地管理flink任务，集成了项目编译，发布，启动，保存点，监视，操作和维护等，从而大大简化了flink任务的操作和维护。 flink平台的开发基础，很容易基于它进行二次开发 如何建造 确保您的计算机上已安装JDK 8+和maven。 运行： mvn clean install -DskipTests git clone
大数据技术-StreamX学习笔记
xiaoyixiao_的博客
04-25 2471
大数据技术-StreamX学习笔记
StreamX 使用手册 - 安装部署篇
u013620245的博客
04-11 6449
StreamX 的初衷是让流处理更简单, 可能你还没遇到她, 也许第一眼就命中注定的恋爱了, 来, 让我们一块走进 StreamX 的世界! 这会是一个系列的文章, 为你详细讲述关于 StreamX 的故事。
StreamX 最佳实践 - Flink on Kubernetes 篇
u013620245的博客
08-09 1879
StreamX 最佳实践-Flink on Kubernetes篇
StreamX的介绍与安装
weixin_45417821的博客
07-19 1462
初衷----让Flink开发更简单，后期也会对Spark做一个支持，它提供了一系列开箱即用的连接器（connectors）标准化了配置，开发，测试，部署，监控，运维的整个过程。**
大数据-flink和streamx部署
最新发布
02-08
另外，StreamX还支持与其他大数据组件（如HDFS、Kafka、Elasticsearch等）的集成，实现数据的全链路处理。 总的来说，Flink和StreamX结合使用，为企业提供了一种高效、稳定且易于管理的大数据实时处理方案。无论是...
streamx-demo-master
07-11
"streamx-demo-master" 是 StreamX 的示例代码仓库主分支，这个项目旨在帮助开发者更好地理解和学习如何使用 StreamX 进行实时数据处理。通过深入研究 "streamx-demo-master"，我们可以掌握 StreamX 的核心功能和...
streamx-console-service_2.12-1.2.3.tar.gz
07-10
此外，压缩包中的`jdk-8u231-linux-x64.tar.gz`表明了StreamX服务依赖于Java 8环境，因此在部署前需确保系统已安装Java 8或更高版本。`node-v16.16.0-linux-x64.tar.xz`则是Node.js的安装包，可能是因为StreamX ...
streamx-quickstart:streamx-快速启动
04-07
streamx-quickstart StreamX 开发Flink的上手示例程序,分为三个模块quickstart-flink,quickstart-datastream,quickstart-flinksql quickstart-flink quickstart-flink 是Flink官方的SocketWindowWordCount程序, 其中项目结构,打包规则,开发方式等和Flink官网要求的规范完全一致, 之所以有这个模块,是因为在Streamx-console中做了对标准的Flink程序(按照官方要求的开发规范开发的Flink程序)的部署支持,后续方便演示使用. quickstart-datastream 该模块主要演示了如果利用StreamX快速开发一个DataStream程序,其中有java和scala两种语言的开发示例,供开发者快速上手学习使用 quickstart-f
StreamX 框架工程已经开源
08-19
http://blog.csdn.net/dactyle/archive/2010/07/27/5768929.aspx http://openswf.svn.sourceforge.net/openswf
streamx-console-service_2.11-1.2.3.tar.gz
07-18
StreamX是一款针对大数据流处理的开源工具，其提供的Console Service是该平台的重要组成部分。...在日常使用中，不断学习和理解StreamX Console Service的各种功能，能够更好地利用其提升大数据流处理的效率和可靠性。
StreamX（2）：StreamX架构
yang_shibiao的博客
04-26 634
目录 0. 相关文章链接 1. StreamX架构图 2. 什么是streamx-core 3. 什么是pump 4. 什么是streamx-console 0. 相关文章链接 大数据基础知识点 文章汇总 1. StreamX架构图 2. 什么是streamx-core streamx-core 定位是一个开发时框架， 关注编码开发， 规范了配置文件,按照约定优于配置的方式进行开发， 提供了一个开发时 RunTime Content 和一系列开箱即用的 Connec...
阿里云服务器部署StreamX
weixin_44821619的博客
03-14 3610
阿里云服务器部署StreamX 部署步骤在StreamX官网都有，还有开发环境的介绍。在此记录下具体的操作步骤。 阿里云服务器配置 StreamX是运行在linux上，访问需要通过外网访问到阿里云服务器，所以需要更改配置让服务器允许外部访问。 在阿里云服务器控制台的安全组规则打开10000端口； 远程连接到服务器后，关闭服务器的防火墙； 在服务器上运行StreamX，接下来介绍如何部署。 服务器部署 要在linux上运行StreamX，需要先编译源码。官网有提供编译后的包，也提供了源码让我们我们自己编译
StreamX（4）：部署 flink stream 应用
yang_shibiao的博客
05-01 1024
目录 0. 相关文章链接 1. 创建本地Flink项目 1.1. 在idea中创建streamx-tutorial项目 1.2. 在 pom 文件中添加相关依赖 1.3. 创建对应包并编写示例代码 2. 将代码推送到gitee平台 2.1. 在gitee平台上创建项目 2.2. 在本地将gitee仓库拉取 2.3. 将步骤1中在本地创建的项目移动到远程仓库中 2.4. 上传代码到gitee 3. 配置项目 4. 编译项目 5. 提交应用 6. 查看项目并确定结果 6.1. 在s
XStream使用方法
无术不学的博客
10-30 620
https://blog.csdn.net/joker_sama/article/details/61197689
Streamx实战中的总结
qq_34492129的博客
02-18 3113
使用streamx实战中的简单回顾
大数据人的好帮手StreamX
weixin_43390992的博客
04-11 2441
Flink 流批一体利器，大数据开发平台，大数据开源项目！
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值