Flink 实践教程-入门（10）：Python作业的使用

已于 2022-04-01 17:30:39 修改
阅读量5k 收藏 3
点赞数
文章标签： 数据库 大数据 java python 数据分析
于 2022-03-25 18:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cloudbigdata/article/details/123749260
版权

作者：腾讯云流计算 Oceanus 团队

流计算 Oceanus 简介  

流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。

教程链接：Flink 实践教程-入门（10）：Python作业的使用 - 云+社区 - 腾讯云

本文将通过一个处理数据后存入 MySQL 的作业示例，为您详细介绍如何使用 PyFlink。

前置准备

创建流计算 Oceanus 集群

进入 Oceanus 控制台 [1]，点击左侧【集群管理】，点击左上方【创建集群】，具体可参考 Oceanus 官方文档 创建独享集群 [2]。

创建 MySQL 实例

进入 MySQL 控制台 [3]，点击【新建】。具体可参考官方文档 创建 MySQL 实例 [4]。进入实例后，单击右上角【登录】即可登陆 MySQL 数据库。

创建 MySQL 表




                

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        


    



                



	

		

			

				
					
Flink Python作业快速入门

				
			

			

				

					soso1968的博客
				

				

					10-24
					
					1543
					
				

			

		

		

			
				
本文带您快速体验Flink Python流作业和批作业的创建、部署和启动，以了解实时计算Flink版Python作业的操作流程。

			
		

	



                

            
              



	

		

			

				
					
《Flink官方文档》Python 编程指南测试版（一）

				
			

			

				

					weixin_34380948的博客
				

				

					05-18
					
					827
					
				

			

		

		

			
				
Flink中的分析程序实现了对数据集的某些操作 (例如，数据过滤，映射，合并，分组)。这些数据最初来源于特定的数据源(例如来自于读文件或数据集合)。操作执行的结果通过数据池以写入数据到(分布式)文件系统或标准输出(例如命令行终端)的形式返回。Flink程序可以运行在不同的环境中，既能够独立运行，也可以嵌入到其他程序中运行。程序可以运行在本地的JVM上，也...

			
		

	



              


  
              

                


	

		

			

				
					
基于 Flink 的实时推荐系统：Python 实现与工业级调优

					
最新发布

				
			

			

				

					jiaworld的博客
				

				

					05-11
					
					748
					
				

			

		

		

			
				
想象一下，你在网上购物，刚刚浏览了一款运动鞋，下一秒，页面上就推荐给你搭配这款鞋的运动袜、运动短裤，是不是感觉网站就像你肚子里的蛔虫，太懂你了！这就是实时推荐系统的神奇之处。实时推荐系统能够根据用户当下的行为，比如浏览记录、点击操作等，迅速地为用户推荐相关的产品、内容或者服务。它和传统推荐系统最大的不同，就在于 “实时” 二字。传统推荐系统可能是每天或者每周更新一次推荐结果，而实时推荐系统能在用户行为发生的瞬间，就给出个性化的推荐，大大提升了用户体验。

			
		

	





	

		

			

				
					
flink调用python脚本

				
			

			

				

					zhaoyangjian724的专栏
				

				

					05-13
					
					1212
					
				

			

		

		

			
				
(注意在一个cluster,结果会进去集群节点的标准输出流,并最终进入wokerers的.out文件)一旦指定了完整的程序,就需要在环境中调用execute.这将在本地计算机上执行。正如我们在示例中已经看到的那样,Flink程序看起来像python程序。延迟执行让你构建复杂的程序,Flink将其作为一个整体计划单元执行。或者提交程序在集群上执行,具体取决于Flink是如何启动的。这个会创建一个新的数据集通过每个值加倍来创建新的数据集。数据转换将一个或者多个数据集转换为一个新的数据集。

			
		

	



		

			
		



	

		

			

				
					
Python知识点：如何使用Flink与Python进行实时数据处理

				
			

			

				

					杰哥在此的专栏
				

				

					09-29
					
					1263
					
				

			

		

		

			
				
通过使用PyFlink，Python开发者可以利用Flink的强大功能来构建实时数据处理应用。无论是简单的数据转换还是复杂的流处理任务，Flink与Python的集成都能提供强大的支持。随着技术的发展，Flink和Python都在不断地引入新的特性和算法，以提高数据处理的效率和准确性。PyFlink是Apache Flink的Python API，它允许用户使用Python语言来编写Flink作业，进行实时数据处理。处理后的数据可以输出到不同的sink，例如Kafka、数据库等。方法来执行Flink作业。

			
		

	





	

		

			

				
					
大数据-玩转数据-Flink Python作业开发

				
			

			

				

					s_unbo的博客
				

				

					09-21
					
					4847
					
				

			

		

		

			
				
这里我们用了刚才提到的 named function 的方式定义一个 ip_to_province() 的UDF，输入是 ip 地址，输出是地区名字字符串。我们这里描述了输入类型是一个字符串，输出类型也是一个字符串。当然这里面的查询服务仅供演示，大家在自己的生产环境要替换为可靠的地域查询服务。format:{'pro': '河北省','city': '石家庄市','region': '灵寿县','addr': '河北省石家庄市灵寿县 电信','err': ''}

			
		

	





	

		

			

				
					
藏经阁-零基础入门：从0到1学会 Apache Flink-204.pdf

				
			

			

				

					01-09
				

			

		

		

			
				
《藏经阁-零基础入门：从0到1学会 Apache Flink》是一份全面介绍Apache Flink技术的教程，特别适合初学者。本教程通过一系列进阶篇章，深入讲解了Flink的核心机制、时间属性、容错机制、资源管理和调度等关键概念。 ...

			
		

	





	

		

			

				
					
flink零基础入门.pdf

				
			

			

				

					06-09
				

			

		

		

			
				
Apache Flink 进阶（一）：Runtime 核心机制剖析 4 Apache Flink 进阶（二）：时间属性深度解析 18 Apache Flink 进阶（三）：Checkpoint 原理剖析与应用实践 30...Apache Flink 进阶（十三）：Python API 应用实践 181

			
		

	





	

		

			

				
					
Flink Exactly-Once语义实现原理：大数据精准处理

				
			

			

				

					AI天才研究院
				

				

					05-04
					
					732
					
				

			

		

		

			
				
在实时流处理场景中，数据以无限流的形式持续产生，系统需要在分布式、高并发、故障频发的环境下保证数据处理的准确性。Flink的Exactly-Once语义承诺每个输入事件仅会被处理一次并产生唯一确定的结果，这对于金融交易、实时对账、物联网监控等对数据准确性要求极高的场景至关重要。本文将深入解析Flink实现Exactly-Once语义的核心技术，包括分布式快照（Checkpoint）机制水印（Watermark）事件时间处理。

			
		

	





	

		

			

				
					
Flink 实践教程：进阶（4）：TOP-N

				
			

			

				

					cloudbigdata的博客
				

				

					12-22
					
					1730
					
				

			

		

		

			
				
TopN ？SQL就能搞定！

			
		

	





	

		

			

				
					
flink-python-examples:使用flinks新的python API的示例集合

				
			

			

				

					05-14
				

			

		

		

			
				
Python Flink:trade_mark:示例
 使用Apache Flink:trade_mark:的新python API的示例集合。 要使用最新的Flink构建来设置本地环境，请参见指南：
 。
 此处的示例使用v0.10.0 python API，旨在用作简单用例的演示。 当前，Python API支持DataSet API的一部分，从用户的角度来看，它具有与Spark类似的功能。
 为了运行示例，我在顶层包含了一个运行程序脚本，其中包含每个示例的方法，只需在pyflink脚本中添加路径，就可以了（只要您在本地运行flink集群即可） 。
 当前包括的示例是：
例子
此处包括示例列表及其生成的flink计划。
字数
一个非常简单的分析程序使用来自简单字符串的源，对每个单词的出现进行计数并输出到磁盘上的文件（使用覆盖功能）。
热门标签
与字数统计非常相似的示例，但包括仅包含主题标签和不同源/接收器的过滤步骤。 在这种情况

			
		

	





	

		

			

				
					
python flink_Flink - 入门学习

				
			

			

				

					weixin_39621495的博客
				

				

					12-10
					
					3660
					
				

			

		

		

			
				
1. 前言Flink是批流一体化的数据处理框架，性能卓越，诸多大厂都在使用。由于时间原因，本篇文章只简单了解一下，后续会深入分析，以及经典case分享。2. 安装pyflink安装虚拟环境和pyflink$ conda create -n py36 python=3.6$ conda activate py36$ conda install Cython$ python -m pip instal...

			
		

	





	

		

			

				
					
PyFlink使用教程，Flink，Python，Java

				
			

			

				

					猛犸象
				

				

					01-29
					
					2253
					
				

			

		

		

			
				
PyFlink使用教程，Flink，Python，Java

			
		

	





	

		

			

				
					
如何在 Apache Flink 中使用 Python API？

				
			

			

				

					大数据
				

				

					09-05
					
					3456
					
				

			

		

		

			
				
导读：本文重点为大家介绍 Flink Python API 的现状及未来规划，主要内容包括：Apache Flink Python API 的前世今生和未来发展；Apa...

			
		

	





	

		

			

				
					
（一）Flink从入门到项目实战——Flink介绍——董长春

				
			

			

				

					董长春
				

				

					02-04
					
					2977
					
				

			

		

		

			
				
重要说明

该文将根据本人学习进度不断更新，计划分章节仔细介绍，随着对知识的不断学习，我将会对前边的内容进行优化，以保证技术描述的准确，以及与官方版本同步。

Flink介绍

Apache Flink 是一个海量数据计算框架和分布式处理引擎，用于在无边界和有边界数据流（离线、流式）上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。

那么如何来理解有边...

			
		

	





	

		

			

				
					
apache flink的python客户端开发

				
			

			

				

					徐长亮的专栏
				

				

					10-05
					
					4531
					
				

			

		

		

			
				
1 flink开发环境安装
下载git clone https://github.com/apache/flink
1.1 cmd命令行执行：
set  MAVEN_OPTS="-Xmx4G"
mvn clean install package -Dmaven.test.skip=true
1.2 powershell命令行执行
set  MAVEN_OPTS="-Xmx4G"
mvn clean...

			
		

	





	

		

			

				
					
利用python实现flink1.18集群部署-Linux系统

				
			

			

				

					weixin_45741311的博客
				

				

					08-07
					
					2348
					
				

			

		

		

			
				
利用python装包能力（pip）轻松实现flink1.18安装，并通过flink参数配置，实现job、task节点配置，实现flink集群部署，并通过flink-python语句，将python程序部署到flink集群运行。

			
		

	





	

		

			

				
					
PyFlink实战--PyFlink安装与入门介绍

					
热门推荐

				
			

			

				

					阿华田的博客
				

				

					03-17
					
					1万+
					
				

			

		

		

			
				
简介

          PyFlink 是什么？简单点说就是 Flink + Python，也就是 Flink on Python，Flink 从 1.9.0 版本开始增加了对 Python 的支持（PyFlink）。那么到底 Flink on Python 意味着这什么呢？那么一个非常容易想到的方面就是能够让 Python 用享受到 Flink 的所有功能。其实不仅如此...

			
		

	





	

		

			

				
					
[实时计算flink]使用Python依赖

				
			

			

				

					soso1968的博客
				

				

					10-25
					
					938
					
				

			

		

		

			
				
说明VVR 4.x仅支持3.7版本的Python虚拟环境，VVR 6.x及以上的版本无此限制，您可以使用更高版本的Python虚拟环境。Python支持构建虚拟环境，每个Python虚拟环境都有一套完整的Python运行环境，并且可以在这套虚拟环境中安装一系列的Python依赖包。关于Python虚拟环境更详细的介绍，请参见Python文档创建虚拟环境。下文为您介绍如何准备Python的虚拟环境。准备Python的虚拟环境。set -e# 下载Python 3.10 miniconda.sh脚本。

			
		

	





	

		

			

				
					
Apache Flink快速入门指南：操作与表格演练

				
			

			

				

					
				

			

		

		

			
				
但是，通过Apache Beam的Python SDK，开发者也可以用Python编程语言来编写Flink作业。在这个演练中，我们将会涉及到Flink的安装、配置以及基本的流处理和批处理操作。  接下来我们具体看看描述中提到的知识点：  1. ...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值