Flink 安装与部署(二)

最新推荐文章于 2024-05-21 07:00:00 发布
最新推荐文章于 2024-05-21 07:00:00 发布
阅读量562 收藏
点赞数
分类专栏： 个人日记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Cincinnati_De/article/details/87097196
版权

Local 模式安装:

1、下载安装包:

下载地址:
https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.6.3/

官网有些慢，清华镜像云快一些

 

2、上传Linux 进行解压:


解压: tar -zxvf flink-1.6.3-bin-hadoop27-scala_2.11.tgz


3、bin目录下启动: ./start-cluster.sh


jps 下会有

StandaloneSessionClusterEntrypoint
TaskManagerRunner

 

4、打开Web页面:

 

Local 集群启动成功！

 

 

Cincinnati_De
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink的安装和部署--伪分布模式
什么最重要？算法！！
05-01 631
Flink的安装和部署主要分为伪分布模式和集群模式：伪分布:如果Flink对应的Java进程都运行在一个物理机器上,称为伪分布模式，如果Flink对应的 Java进程运行在多台物理机器上,称为集群模式. 伪分布模式就是在一台服务器上面模拟集群环境，但仅仅是机器数量少,其通信机制与运行过程与真正的集群模式是一样的. Flink伪分布模式搭建过程（flink-1.10.2-bin-scala_2.11.tgz用这个即可） flink-1.7.2-bin-hadoop27-scala_2...
Flink安装及部署
YLKai_的博客
06-24 2215
（1） 下载flink：flink-1.13.1-bin-scala_2.11.tgzhttps://flink.apache.org/downloads.html（2）上传flink到linux本地模式安装 | Apache Flinkconf/master conf/workers flink-conf.yaml Stream测试案例: Batch测试案例： 2. Flink 架构 https://ci.apache.org/projects/flink/flink-docs-release-1.13/
CSharpFlink:实时计算框架
03-20
CSharpFlink 实时计算框架 官方网址 技术博客 github地址： : gitee地址： ://gitee.com/wxzz/CSharpFlink 作者QQ：504547114 技术QQ群：54256083 1项目背景 我们有一个国家性质的面向工业的公有云平台，通过专线或4G的网关方式实时向平台传输数据，每天处理1亿条左右的数据量，为现场用户提供实时的在线服务和离线数据分析服务。现在已经上线稳定运行有将近3年的时间。同时也为工业企业提供私有云建设服务。我们计划使用Flink作为云平台后台的实时计算部分，基本实现数据点的聚合计算，表达式规则计算等业务，进一步实现机器学习或自定义复杂算法的需求。我们经过将近一年左右的时间的研究及开发，已经基本实现了聚合和逻辑等业务，但是感觉Flink比较重，并且应用和运维的水平要求比较高。基于上述情况，我们自主使用开发实时计算组件，支持
PyFlink安装与helloword入门示例
最新发布
pzy0668的专栏
05-21 560
pyflink入门示例
Flink安装部署
weixin_30384217的博客
12-30 80
Flink概述 Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。 Flink特点 1)随处部署应用与其它组件集成！flink是分布式系统，需要计算资源才可执行程序。flink可以与常见的集群资源管理器进行集成(Hadoop Yarn,Apache Mesos..)。 可以单独...
Flink 部署
热门推荐
mengxianglong123的博客
03-26 1万+
这里需要提到 Flink 中的几个关键组件：客户端（Client）、作业管理器（JobManager）和任务管理器（TaskManager）。我们的代码，实际上是由客户端获取并做转换，之后提交给 JobManger 的。所以 JobManager 就是 Flink 集群里的“管事人”，对作业进行中央调度管理；而它获取到要执行的作业后，会进一步处理转换，然后分发任务给众多的TaskManager。这里的 TaskManager，就是真正“干活的人”，数据的处理操作都是它们来做的， 一、快速启动一个 Fli.
1-centOS7搭建伪分布式
gulanga5的博客
09-09 331
注意： 伪分布式Hadoop必须配置hadoop-env.sh、core-site.xml和 hdfs-site.xml三个文件。注意：上一行的命令要在虚拟机中执行(不要再xshell中执行，否则不能用记事本软件打开sshd_config配置文件)注意： hadoop-env.sh文件和yarn-env.sh文件用来控制hadoop的bin目录中的脚本。(可以在创建用户前，生成公钥私钥前，安装jdk前，搭建伪分布式Hadoop之前拍摄虚拟机快照)类似于虚拟机备份， 可以使用备份进行快速恢复。
Flink的安装部署
Tattoo
11-21 4653
Standalone集群安装 1.上传安装包到linux系统 使用rz命令 2.解压 tar –zxvf flink-1.5.0-bin-hadoop24-scala_2.11.tgz 3.修改配置文件 vim conf/flink-conf.yaml jobmanager.rpc.address: master jobmanager.rpc.port: 6123 jobmanager.heap....
Flink集群安装部署.txt
07-29
Flink集群安装部署,
Flink-安装部署与快速入门.docx
12-16
Flink 安装部署与快速入门 Flink 是一个基于 Apache 项目的开源流处理引擎，旨在提供高效、可靠、灵活的数据处理能力。下面是 Flink 安装部署与快速入门的相关知识点： 1. Flink 诞生背景 Flink 诞生于欧洲的一个...
flink介绍及安装部署
02-07
### Flink介绍及安装部署详解 #### 一、Flink简介 Apache Flink 是一个用于分布式数据流处理和批量数据处理的开源框架。它能够提供高效的数据处理能力，并且支持实时处理和批处理两种模式。Flink 的核心是流处理...
Flink架构、原理与部署测试
01-27
Flink还提供了多种部署选项，如本地、远程或YARN集群，并有一系列扩展库，如Table用于逻辑表查询，FlinkML用于机器学习，Gelly处理图像，CEP处理复杂事件。 在Flink的工作原理中，程序由Stream和Transformation构成...
大数据Flink安装部署
赵广陆
05-05 490
目录1 Local本地模式1.1 原理1.2 操作1.3 测试2 Standalone独立集群模式2.1 原理2.2 操作2.3 测试3 Standalone-HA高可用集群模式3.1 原理3.2 操作3.3 测试4 Flink On Yarn模式4.1 原理4.1.1 为什么使用Flink On Yarn?4.1.2 Flink如何和Yarn进行交互?4.1.3 两种方式4.1.3.1 Session模式4.1.3.2 Per-Job模式4.2 操作4.3 测试4.3.1 Session模式4.3.2 P
Hadoop环境的安装及配置
hearting的博客
03-26 1750
安装配置Hadoop开发环境 下载Hadoop 我们去官网下载：http://hadoop.apache.org/ 配置Hadoop环境 来搭建一个单节点的集群，配置一个伪分布式，为什么不做分布式呢？ 其实分布式的配置和伪分布式差不多，只是分布式机器增加了而已，其他没什么两样。 ##设置SSH免密登录 在之后操作集群的时候我们需要经常登录主机和从机，所以设置SSH免密登录时有必要的。 输入如下代码...
【Flink 核心篇】Flink 之部署篇
书山有路，学海无涯。记录成长，追逐梦想
02-22 2028
在所有其他模式下，应用程序的 main() 方法都在客户端执行。这一过程包括在本地下载应用程序的依赖项，执行 main() 以提取 Flink 运行时可以理解的应用程序表示（即 JobGraph），并将依赖项和 JobGraph 发送到集群。这就使客户端成为资源消耗大户，因为它可能需要大量网络带宽来下载依赖项并将二进制文件发送到集群，还需要 CPU 周期来执行 main()。当客户端被多个用户共享时，这一问题会更加突出。
Flink第一章：开发环境搭建和应用的配置、部署及运行
马斯特杨的博客
04-28 975
一、Flink 开发环境部署和配置 Flink 是一个以 Java 及 Scala 作为开发语言的开源大数据项目，代码开源在 GitHub 上，并使用 Maven 来编译和构建项目。 Java、Maven 和 Git 这三个工具是必不可少的，另外一个强大的 IDE 有助于我们更快的阅读代码、开发新功能以及修复 Bug。 环境：centos7.6，maven 3.6.1,flink1.10 安装...
大数据hudi之集成flink:核心参数设置
weixin_43597208的博客
09-05 248
注意：如果没有按照5.2.1中yarn-session模式解决hadoop依赖冲突问题，那么无法compaction生成parquet文件，报错很隐晦，在Exception中看不到，要搜索TaskManager中关于compaction才能看到报错。在进行insert/upsert操作时，Hudi可以将文件大小维护在一个指定文件大小。可以flink建表时在with中指定，或Hints临时指定参数的方式：在需要调整的表名后面加上 /*+ OPTIONS() */
[Flink03] Flink安装
渡江客涂鸦板
02-18 1560
在Flink Standalone模式下，实现HA的方式可以利用ZooKeeper在所有正在运行的JobManager实例之间进行分布式协调，实现多个JobManager无缝切换。Flink Standalone模式的HA架构如图：HA的核心就是：可以在集群中启动多个JobManager，并使它们都向ZooKeeper进行注册，ZooKeeper利用自身的选举机制保证同一时间只有一个JobManager是活动状态（Active）的，其他的都是备用状态（Standby）。
Flink 配置1：Ubuntu 环境下部署 Flink 集群环境
北_鱼的博客
09-20 879
Ubuntu 环境下配置 Flink 分布式环境
flink1.6.1安装部署
07-28
要安装和部署 Flink 1.6.1，您可以按照以下步骤进行操作： 1. 下载 Flink 1.6.1：您可以从 Flink 的官方网站（https://flink.apache.org/downloads.html）下载 Flink 1.6.1 的二进制文件。 2. 解压文件：将下载的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值