[Flink课程]---- 9.1 使用Ambari 搭建Flink 集群

最新推荐文章于 2024-08-08 22:36:53 发布
最新推荐文章于 2024-08-08 22:36:53 发布
阅读量9.5k 收藏 14
点赞数 4
分类专栏： Flink（理论+实战） 文章标签： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/high2011/article/details/90272331
版权
本文详细介绍了如何使用Ambari搭建Apache Flink集群，包括Flink的特性、应用场景、安装步骤和测试方法。重点讲解了安装流程，如版本选择、环境配置、服务包下载以及命令行和编程测试。同时，文中还提到了Flink在生产环境的使用情况和常见问题。
摘要由CSDN通过智能技术生成

1 前言

1.1 概览

   Stateful Computations over Data Streams(数据流的状态计算)

   Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。

在这里，我们解释了Flink架构的重要方面。

处理无界和有界数据

了解本专栏 订阅专栏 解锁全文 超级会员免费看
往事随风ing
关注
专栏目录
订阅专栏
【Flink】Ambari 添加 flink 服务
九师兄
02-22 246
从页面启动 flink之后，Flink-yarn-session 启动成功，但是 ambari 进度不到 100%编辑configuration/flink-ambari-config.xml修改下载地址。3.下载ambari-flink-service服务。配置 Flink on yarn 故障转移方式。页面没有 Flink web ui 链接地址。查看 Flink webUI 中的任务情况。5.创建 Flink 用户组与用户。查看安装服务中是否有 Flink。8. 启动 flink 服务。
Ambari部署Flink
Java框架、并发编程、分布式、微服务、Redis、HarmonyOS、中间件等技术
07-23 1578
这个比较靠谱，下面操作的是单机 https://blog.csdn.net/high2011/article/details/90272331 从github上clone ambari-flink-service到对应目录 sudogitclonehttps://github.com/abajwa-hw/ambari-flink-service.git/var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/FLI...
EnvironmentNotWritableError: The current user does not have write permissions to the target environm
最新发布
Emperdre的博客
08-08 687
右键点击 Anaconda Prompt 图标，选择“以管理员身份运行”。点击“编辑”，然后选择当前用户，确保勾选“完全控制”权限。打开 Anaconda Prompt，再次运行安装命令即可。关闭当前的 Anaconda Prompt。这是因为当前用户对目标环境。打开文件资源管理器，导航到。尝试再次运行安装命令即可。文件夹，选择“属性”。应用更改并关闭属性窗口。选择“安全”选项卡。
Ambari 2.7.5安装Flink1.13.2
韦不二的博客
09-01 5053
这是一个学习文档 看看这个文档好不好用 public static void main{} [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-010gW4zF-1619286463422)(https://cdn.nlark.com/yuque/__mermaid_v3/c0bfd0479dcf29d7cc961774486a0da6.svg#lake_card_v2=eyJ0eXBlIjoibWVybWFpZCIsImNvZGUiOiJjbGFzc0RpYWdyYW1cbi
Hadoop：ambari安装Flink服务
weixin_43887421的博客
10-14 580
1.安装git 查看是否安装了git git --help 如果没有git，那就安装 yum install git 2.设置version变量 VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'` echo $VERSION 3.下载ambari-flink-service服务 sudo git clone https://github.com.cnpmjs.org/ab
Ambari2.7.5安装Flink1.14
jast
01-13 1163
所有稳定版本都可以在https://archive.apache.org/dist/flink/获取。修改下载地址(地址为我们自己的httpd服务中放置的安装包)配置 Flink on yarn 故障转移方式。在Linux服务器中配置flink环境变量。选择Flink需要安装到哪台服务器。在flink-evn.xml中添加。保存后重启Flink。
[Flink基础]---- Flink学习规划（初级）
欢迎来到我的博客，一起探索代码里的世界！
09-26 2012
都言：“光说不练假把式”，但个人觉得打牢基础是非常必要的！适当通过 ”理论 + 实践 “ 的结合，可能效果更好！一直唠嗑着要好好学学 Flink，也没有系统地去弄，这次来真的了。 Apache Flink 学习目录 1、Flink 介绍 1.1 关于Apache Flink 1.2Flink 和 Spark 的对比 1.3怎样在Flink社区做贡献 1.4 Flink ...
大数据学习之路-Hadoop
weixin_43441789的博客
01-29 4107
Hadoop1. 大数据导论1.1 大数据概念1.2 大数据特点1.3 大数据应用场景1.4 大数据部门组织结构2. Hadoop简介与大数据生态2.1 Hadoop的介绍2.2 Hadoop三大发行版本2.3 Hadoop组成2.3.1HDFS架构概述2.3.2 YARN架构概述2.3.3 MapReduce架构概述2.4 大数据技术生态体系3. Hadoop运行环境搭建3.1 模板虚拟机环境准备3.2 克隆虚拟机3.3 安装JDK3.4 安装Hadoop3.5 Hadoop目录结构4. Hadoop运行
Yarn原理与代码实例讲解
程序员光剑
06-19 1174
在大数据时代,Apache Hadoop作为一个开源的分布式系统基础架构,已经成为了企业存储和大数据处理的核心平台。Hadoop的两大核心组件是HDFS分布式文件系统和MapReduce计算框架。然而,MapReduce在处理大规模数据时存在许多不足,比如任务设置繁琐、资源利用率低、应用之间相互影响等。为了解决这些问题,Apache Hadoop 3.1.0版本引入了全新的资源管理和作业调度系统Yarn(Yet Another Resource Negotiator)。
Presto原理与代码实例讲解
程序员光剑
06-19 988
Presto原理与代码实例讲解 1.背景介绍 1.1 大数据查询引擎的发展历程 随着大数据时代的到来,企业需要处理和分析的数据量呈爆炸式增长。传统的关系型数据库已经无法满足海量数据的实时查询和分析需求。因此,大数据查询引擎应运而生,如
flink安装文件，详细
05-21
flink相关文档
ambari集成flink
ads13524的博客
09-08 2732
@[TOC]ambari集成flink记录 1.下载文件 ambari-flink-service sudo git clone https://github.com/abajwa-hw/ambari-flink-service.git /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/FLINK flink安装包 下载地址：https://archive.apache.org/dist/flink/flink-1.9.3/fli
Ambari2.75集成flink-1.14.4
NDF923的专栏
03-25 5582
ambari集成flink详情可参考：Ambari 2.7.5安装Flink1.13.2_不饿同学的博客-CSDN博客_ambari安装flink 这里说一下安装过程遇到的问题： 1、安装时报错：Error: Error: Unable to run the custom hook script ['/usr/bin/python', '/var/lib/ambari-agent/cache/stack-hooks/before-ANY/scripts/hook.py', 'ANY', ...
第三章 Ambari二次开发之集成Flink安装教程（开源版本DEMO）
qq_27924553的博客
10-26 1370
Ambari二次开发之集成Flink安装教程
第十章 Ambari二次开发之自定义Flink服务 --自定义服务添加监控指标并展示
qq_27924553的博客
10-25 1281
自定义服务添加监控指标并展示
探秘Flink在HDP集群中的高效管理——Ambari服务解决方案
gitblog_00079的博客
06-21 315
探秘Flink在HDP集群中的高效管理——Ambari服务解决方案 项目地址:https://gitcode.com/abajwa-hw/ambari-flink-service 项目简介 这个开源项目是为了解决一个核心问题：如何在HDP 2.6.5集群上轻松安装和管理Apache Flink。通过提供一个Ambari服务，该项目使得Flink的部署和监控变得更加简单，且对新手友好。 Apache...
Linux常用基础（一）
weixin_30621959的博客
09-10 109
1、命令解释器 shell---Unix操作系统 bash---Linux操作系统 本质：根据输入的命令，调用相应的执行程序。 2、Linux下的快捷键 　　（1）命令和路径补全 　　　　　　Tab键 　　（2）主键盘的快捷键 　　　　　　1） 历史命令的切换 　　　　　　　　历史命令：history 　　　　　　　　向上遍历：Ctrl+P 　　　　　　　　向...
Flink SQL集成Ambari,实现Mongo到Hive的数据同步
weixin_41367158的博客
03-06 513
参考Flink官网配置：https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/connectors/table/hive/overview/由于Flink与Ambari并未安装在同一台机器上，而Flink的Hive SQL需要Hadoop的环境，于是从Ambari机器上拷贝Hadoop+Hive的相关包。有2种添加Hive依赖的方式，因为有对应hive版本的flink捆绑包，此处选择第一种方式。开启Flink SQL客户端。
flink1.4.14-scala 集群部署无hadoop
08-04
2. 配置Flink集群：进入解压后的Flink目录中，编辑conf/flink-conf.yaml配置文件。在该文件中，你需要设置以下一些重要参数： - jobmanager.rpc.address: 配置JobManager的RPC通信地址。 - jobmanager.rpc.port: ...
评论 17
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

往事随风ing

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值