hadoop集群上部署flink环境

最新推荐文章于 2024-08-13 17:07:52 发布
最新推荐文章于 2024-08-13 17:07:52 发布
阅读量6.2k 收藏 9
点赞数 1
分类专栏： Java Hadoop Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40626699/article/details/89139591
版权
本文档详细介绍了如何在已有的Hadoop 2.6.0集群上部署Flink 1.6.4环境。通过xshell连接服务器，下载相应版本的Flink压缩包并解压，然后运行程序，查看任务状态。以WordCount.jar为例展示了Flink内部examples的运行，并提供了不修改默认配置即可测试的说明。
摘要由CSDN通过智能技术生成

搭建背景：
目前已经在某个服务器上搭建好了hadoop集群，部署flink环境只需要通过xshell进行操作

步骤：
1、打开xshell，连接hadoop集群所在服务器
2、查看hadoop版本,如图，可知版本是2.6.0

$ hadoop version

在这里插入图片描述
3、去官网下载相应的flink压缩包
下载地址：https://flink.apache.org/downloads.html
找到对应版本的flink，我的是1.6.4版本的
在这里插入图片描述
4、下载的压缩包放到服务器的某个目录下（通过xftp）
在这里插入图片描述
5、通过命令在当前目录进行解压缩

$ tar xzf flink-1.6.4-bin-hadoop26-scala_2.11.tgz

最低0.47元/天 解锁文章
余三二
关注
专栏目录
大数据集群环境搭建：Hadoop、Spark、Flink分布式集群环境
zhengzaifeidelushang的博客
04-08 1336
Centos7上搭建hadoop3.2.1分布式集群 一、安装虚拟机 VMware Workstation安装CentOS7.4服务器： https://blog.csdn.net/zhengzaifeidelushang/article/details/102557805 准备三台CentOS7服务器,三台服务器主机名和IP地址如下： 主机名 IP地址 bigdata1 192.168.239.131 bigdata2 192.168.239.132 bigdata3 192.16
Hadoop数据流处理系统Flink技术教程_2024-07-09_09-39-17
kkchenjj的博客
07-10 1033
Hadoop数据流处理系统Flink技术教程 Flink概述 Flink是一个开源的流处理框架，由Apache软件基金会维护。它提供了高吞吐量、低延迟的数据流处理能力，适用于大规模数据流的实时分析。Flink的核心是一个流处理引擎，能够处理无界和有界数据流，这意味着它既可以处理持续不断的数据流，也可以处理有限的数据集。 Flink与Hadoop的集成 Flink可以无缝地集成到Hadoop生态系统中，利用Hadoop的存储和计算资源。Flink可以读取Hadoop HDFS中的数据，也可以将处理结果写回到H
Flink的运行必须依赖Hadoop吗
weixin_59295776的博客
09-06 390
Flink可以完全独立于Hadoop，在不依赖Hadoop组件下运行。但是做为大数据的基础设施，Hadoop体系是任何大数据框架都绕不过去的。Flink可以集成众多Hadooop 组件，例如Yarn、Hbase、HDFS等等。例如，Flink可以和Yarn集成做资源调度，也可以读写HDFS，或者利用HDFS做检查点。
代表性大数据技术：Hadoop、Spark与Flink的框架演进
最新发布
oOBubbleX的博客
08-13 1213
本文回顾了大数据技术发展的几个重要里程碑，从MapReduce编程模型的提出到Hadoop、Spark和Flink等大数据框架的涌现。
hadoop-flink完全分布式集群搭建
柒柒柒柒
11-24 4381
hadoop-flink完全分布式集群搭建
大数据Hadoop之——实时计算流计算引擎Flink（Flink环境部署）
匠人精神，持之以恒！
01-08 4803
文章目录一、概述 一、概述 Flink核心是一个流式的数据流执行引擎，并且能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用。其针对数据流的分布式计算提供了数据分布，数据通信及容错机制等功能。基于流执行引擎，Flink提供了跟多高抽象层的API便于用户编写分布式任务。下面介绍常见的几种API； DataSet API: 对静态数据进行批处理作业，将静态数据抽象成分布式的数据集，用户可以方便的使用Flink提供的各种操作符对分布式数据集进行处理，支持Java,Scala和python；
基于docker技术搭建hadoop与mapreduce分布式环境
weixin_45795947的博客
04-14 5711
基于docker技术搭建hadoop与mapreduce分布式环境
Hadoop+Flink研发环境部署+开发
huotianyu的博客
08-06 2127
修改Flink目录下conf/flink-conf.yaml,在末尾添加classloader.check-leaked-classloader: false，然后保存。-- 配置HDFS网页登录使用的静态用户为root-->-- 指定ResourceManager的地址-->-- 指定MapReduce程序运行在Yarn上 -->-- 指定hadoop数据的存储目录 -->-- 指定NameNode的地址 -->-- 指定MR走shuffle -->-- 环境变量的继承 -->
Hadoop集群搭建部署与MapReduce程序关键点个性化开发.doc
02-26
首先，我们来看任务1——Hadoop集群的部署。这一步至关重要，因为它为整个大数据处理系统提供了基础架构。在虚拟机中安装Ubuntu Kylin 16.04.4是常见的选择，因为这是一个稳定且支持Hadoop的Linux发行版。安装完成后...
flink-1.11.0+hadoop3.2.2 部署flink on yarn
m0_37813354的博客
06-20 1728
https://flink.apache.org/downloads.html#flink
flink-1.9.3-hadoop3.0.0-cdh6.2.1.tar.gz
06-10
资源是flink的编译包， Flink 编译和运行要求 Java 版本至少是 Java 8，且最好选用 Java 8u51 及以上版本，我选用的是java version "1.8.0_181"，源码是基于scala2.11，maven是3.2.5
flink-1.9.2-bin-hadoop2.7-scala_2.12最新flink集群分布式版本
04-20
支持hadoop2.7.2 scala 2.12，编译完成的二进制包flink安装包，亲测可用，注意压缩包是250M，这才是正确的。其他100多M都不对。由于超过220M，所以提供百度云盘链接的形式。
flink hadoop 从0~1分布式计算与大数据项目实战（2） HADOOP 介绍
峡谷电光马仔的博客
06-17 649
flink hadoop 从0~1项目实战
本地idea开发flink程序并本地运行读取HDFS文件
WYRM
03-29 7000
<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.5</version>
flink on k8s 访问hive hadoop
tianhouquan的专栏
04-25 3289
flink on k8s 访问hive hadoop
Flink简介与Hadoop对比
m0_56719462的博客
05-09 867
Flink 是一个强大的流处理框架，具有高可靠性、高性能、高灵活性和易于使用的特点。它适用于需要处理实时数据流和有状态计算的场景，如实时分析、实时决策、实时监控等。
Flink开发需要的环境
SunnyRivers
06-13 3745
运行环境介绍 Flink执行环境主要分为本地环境和集群环境，本地环境主要为了方便用户编写和调试代码使用，而集群环境则被用于正式环境中，可以借助Hadoop Yarn或Mesos等不同的资源管理器部署自己的应用。 环境依赖 （1）JDK环境 Flink核心模块均使用Java开发，所以运行环境需要依赖JDK，本书暂不详细介绍JDK安装过程，用户可以根据官方教程自行安装，其中包括Windows和Lin...
【Hadoop生态圈】8.Flink实时计算引擎入门教程
皓亮君的博客
10-13 2218
流式计算: Fink可以连接处理流式(实时)数据。容错: Fink提供了有状态的计算,会记录任务的中间状态,当执行失败时可以实现故障恢复。可伸缩: Fink集群可以支持上千个节点。高性能: Fink能提供高吞吐,低延迟的性能。: 可以处理秒级别延迟的实时数据计算,但是无法处理真正的实时数据计算,适合小型且独立的实时项目。Storm: 可以处理真正的实时计算需求,但是它过于独立没有自己的生态圈，适合能够接受秒级别延迟不需要Hadoop生态圈的实时项目。Fink。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值