- 博客(31)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Flink源码学习二 用户代码逻辑计划生成 1.17分支
接上节flink调用用户代码的main方法后，用户代码中一般会有如下获取flink环境的代码这里获取的环境再命令行客户的执行这个方法是就已经初始化好了，这个env里面封装了一些用户环境配置、streaming执行配置等。
2022-10-11 22:15:00
1129
1
原创 Flink源码学习一 客户端提交yarn-job任务源码处理 1.17分支
flink -h调用的shell脚本位于flink bin目录下的flink脚本执行。去到脚本最后一行，可以看到实际是启用了一个java程序可以看到shell脚本实际调用的是org.apache.flink.client.cli.CliFrontend这个类的main方式执行程序。
2022-09-30 21:15:00
974
原创 使用rancher的rke2部署高可用的k8s集群
在1.20版之后已经废弃了Docker，而是使用Containerd作为容器运行时。k8s在1.20之后的版本可以使用rke2来辅助部署。单纯使用rke2部署k8s的好处是可以把k8s集群和rancher解耦合。使rancher只负责管理k8s，即使rancher出问题也不影响k8s本身。.........
2022-08-09 16:03:06
4770
原创 Linux系统3分钟快速安装Docker20版本、docker-compose及国内镜像源配置
配置阿里云的yum docker源2、查看镜像源中的docker版本，选择自己需要的版本安装4、配置国内的阿里云docker镜像源，加速下载 5、启动docker并配置开机启动6、docker-compose版本选择及安装docker-compose的兼容性：直接去github下载docker-compose的二进制包下来Releases · docker/compose · GitHub或者执行下面命令下载对应的docker-compose，本文下载的事1.2
2022-07-04 10:55:41
4834
原创 Java入门第六天1-java面向对象概述
A:什么是面向过程 面向过程，其实就是面向着具体的每一个步骤和过程，把每一个步骤和过程完成，然后由这些功能方法相互调用，完成需求。例如:吃煎饼果子利用面向过程的思想: 1.学习摊煎饼的技术 2.买材料鸡蛋,油,葱等等 3.开始摊 4.吃 5.收拾B:什么是面向对象 面向对象思想就是不断的创建对象，使用对象，指挥对象做事情。（如果有对象，直接用对象，对我们直接提供服务）例如:吃煎饼果子利用面向对象的思想A:面向过程：强调的是过程，所有事情都需
2022-07-04 10:00:39
123
原创 Java入门第五天4-java方法参数类型详解
方法的参数是基本类型的时候： 形式参数的改变不影响实际参数。 形式参数：用于接收实际数据的变量 实际参数：实际参与运算的变量方法的形式参数是基本类型的图解：基本数据类型作为参数传递，形式参数的改变不影响实际参数引用数据类型作为参数传递，形式参数的改变直接影响实际参数方法的形式参数是引用类型图：需求：把遍历数组改进为方法实现，并调用方法2.2、方法练习之数组获取最值需求：把获取数组最值改进为方法实现，并调用方法......
2022-07-04 10:00:10
1091
原创 Java入门第五天3-java的方法重载
2、方法重载练习之比较两个数据是否相等需求：比较两个数据是否相等。参数类型分别为两个byte类型，两个short类型，两个int类型，两个long类型，并在main方法中进行测试
2022-07-03 20:17:37
141
原创 Java入门第五天2-java方法的练习
需求：键盘录入两个数据，返回两个数中的较大值思考： 键盘录入两个数据的动作放在哪里比较合适呢? 假如键盘录入数据的动作放在了返回两个数中的较大值的方法里面，那么，我如果不想返回键盘录入 的数据的较大值，我就想返回两个固定值的较大值，我们是不是又得修改代码了。这个时候发现 是不合理的，所以我们应该把键盘录入数据的动作放在main方法中。命名习惯问题： 类： 如果是一个单词，首字母大写。Student
2022-07-03 20:15:02
423
原创 Java入门第五天1-java的方法
假设有一个游戏程序，程序在运行过程中，要不断地发射炮弹(植物大战僵尸)。发射炮弹的动作需要编写100行的代码，在每次实现发射炮弹的地方都需要重复地编写这100行代码，这样程序会变得很臃肿，可读性也非常差。为了解决代码重复编写的问题，可以将发射炮弹的代码提取出来放在一个{}中，并为这段代码起个名字，这样在每次发射炮弹的地方通过这个名字来调用发射炮弹的代码就可以了。上述过程中，所提取出来的代码可以被看作是程序中定义的一个方法，程序在需要发射炮弹时调用该方法即可 简单的说：方法就是完成特定功能的代码
2022-07-03 20:08:10
105
原创 Java入门第四天3-java数组常见问题及练习
数组：存储同一种数据类型的多个元素的容器。定义格式： A:数据类型[] 数组名; B:数据类型 数组名[];举例： A:int[] a; 定义一个int类型的数组，数组名是a B:int a[]; 定义一个int类型的变量，变量名是a数组数组初始化： A:所谓初始化，就是为数组开辟内存空间，并为数组中的每个元素赋予初始值 B:我们有两种方式对数组进行初始化 a:动态初始化 只指
2022-07-03 10:47:49
225
原创 Java入门第四天2-java数组内存结构及静态初始化
Java 程序在运行时，需要在内存中的分配空间。为了提高运算效率，就对空间进行了不同区域的划分，因为每一片区域都有特定的处理数据方式和内存管理方式。栈 存储局部变量堆 存储new出来的东西方法区 (面向对象进阶讲)本地方法区 (和系统相关) 寄存器 (给CPU使用)定义一个数组，输出数组名及元素。然后给数组中的元素赋值，再次输出数组名及元素2.1、 代码内存图解 定义两个数组，分别输出数组名及元素。然后分别给数组中的元素赋值，分别再次输出数组名及元素3.1
2022-07-03 10:41:54
144
原创 Java入门第四天1-java数组及动态初始化
需求：现在需要统计某公司员工的工资情况，例如计算平均工资、找到最高工资等。假设该公司有80名员工，用前面所学的知识，程序首先需要声明80个变量来分别记住每位员工的工资，然后在进行操作，这样做会显得很麻烦。为了解决这种问题，Java就提供了数组供我们使用。 那么数组到底是什么呢?有什么特点呢?通过上面的分析：我们可以得到如下两句话： 数组是存储多个变量(元素)的东西(容器)这多个变量的数据类型要一致 数组是存储同一种数据类型多个元素的容器。 数组既可以存
2022-07-03 10:34:29
88
原创 Java入门第三天4-java的Random生成随机数
括号里面的10是可以变化的，如果是100，就是0-100之间的数据1.2、猜数字小游戏案例 系统产生一个1-100之间的随机数，请猜出这个数据是多少? 分析： A:系统产生一个1-100之间的随机数 Random r = new Random(); int number = r.nextInt(100)+1; B:键盘录入我们要猜的数据 C:比较这两个数据，看我们猜的是否正确
2022-07-03 10:04:06
573
原创 Java入门第三天3-java的循环控制语句
在选择结构switch语句中在循环语句中离开使用场景的存在是没有意义的break的作用：跳出单层循环跳出多层循环2、跳转控制语句continue的概述和使用2.1、continue的使用场景在循环语句中离开使用场景的存在是没有意义的continue的作用：单层循环对比break，然后总结两个的区别break 退出当前循环continue 退出本次循环...
2022-07-03 09:59:24
183
原创 Java入门第三天2-java循环嵌套
需求：输出一个4行5列的星星(*)图案。 结果： ***** ***** ***** ***** 循环嵌套：就是循环体语句本身是一个循环语句。 结论： 外循环控制的是行，内循环控制的是列2、循环嵌套练习2.1、打印正三角形 需求：请输出如下图形 * ** *** ****
2022-07-03 09:57:32
430
原创 Java入门第三天1-java的循环结构
for(初始化语句;判断条件语句;控制条件语句) { 循环体语句; }A:执行初始化语句B:执行判断条件语句，看其结果是true还是false如果是false，循环结束。如果是true，继续执行。C:执行循环体语句D:执行控制条件语句E:回到B继续1.4、for循环练习1.4.1、获取数据1-10和10-11.4.2、for循环练习之求1-5之间数据和1.4.3、for循环练习之求1-100之间的偶数1.4.4、for循环练习之打印水仙花数
2022-07-03 09:52:09
123
原创 Java入门第二天3-java的选择流程控制语句
在一个程序执行的过程中，各条语句的执行顺序对程序的结果是有直接影响的。也就是说程序的流程对运行结果有直接的影响。所以，我们必须清楚每条语句的执行流程。而且，很多时候我们要通过控制语句的执行顺序来实现我们要完成的功能。 流程控制语句分类: 是程序中最简单最基本的流程控制，没有特定的语法结构，按照代码的先后顺序，依次执行，程序中大多数的代码都是这样执行的2、 If语句的格式2.1、if语句格式1的概述和使用if语句第一种格式：if(关系表达式) {
2022-07-02 18:51:18
115
原创 Java入门第二天2-java键盘录入
我们在写程序的时候，数据值都是固定的，但是实际开发中，数据值肯定是变化的，所以，把数据改进为键盘录入，提高程序的灵活性。键盘录入数据的步骤:A:导包(位置放到class定义的上面) import java.util.Scanner;B:创建对象 Scanner sc = new Scanner(System.in);C:接收数据 int x = sc.nextInt();2、Scanner录入数据练习之求两个整数的和 键盘录入两个数据，并对这两个数据求和，输出
2022-07-02 18:36:53
1844
原创 Java入门第二天1-java运算符
对常量和变量进行操作的符号称为运算符 用运算符把常量或者变量连接起来符号java语法的式子就可以称为表达式。不同运算符连接的式子体现的是不同类型的表达式。定义两个int类型的变量a,b，做加法(a + b) 算术运算符 赋值运算符 关系运算符 逻辑运算符 三元运算符 A:什么是运算符 就是对常量和变量进行操作的符号。B:算数运算符有哪些 * +,-,*,/,%,++,-- 1.2、字符和字符串
2022-07-02 18:33:46
170
原创 Java入门第一天2-java语法格式
A: 什么是注释 B: Java中注释分类单行注释多行注释文档注释C: 注释的作用 a:解释说明程序 b:帮助我们调试错误2、关键字2.1、关键字概述 被Java语言赋予特定含义的单词 2.2、关键字特点 组成关键字的字母全部小写 常用的代码编辑器,针对关键字有特殊的颜色标记，非常直观，所以我们不需要去死记硬背，在本系列后续文章中重要的关键字也会不断的出来。 2.3、样例代码2.4、关键字举例
2022-07-02 18:17:23
113
原创 Saprk SQL的DataFrame直接读写Hbase方法
今天分享一个使用sparksql的spark.write.format("hbase").save()spark.read.format("hbase").load()方式读写Hbase的方法。只需要引用sparksql依赖和hbase-mapreduce包，即可实现spark sql读写hbase功能。2、创建包和类如下 告诉spark框架，这个包下面的代码是spark的souce和sink，spark框架运行时，用户调用spark.read.format("hbase").loa
2022-07-01 17:32:57
890
原创 Flink1.13.6详细部署方式
Flink1.13.6支持flink cdc2.x版本，为兼容flink cdc，本文选择使用flink1.13.6版本部署。其他版本也可借鉴。Flink支持多种部署方式local（本地）->单机部署，一般不会使用standalone（独立部署）->flink自带的部署方式，一般用于开发测试使用yarn（分布式部署）->由hadoopyarn统一的管理资源，是生产环境采用的部署方式本文将针对以上几种方式进行详细的介绍：（1）下载安装包https://archive.apache.org/dist/flink
2022-06-30 22:02:19
3371
原创 大数据流式处理框架Flink介绍
随着数据的飞速发展，出现了很多热门的开源社区，比如：hadoop、spark、storm社区，他们都有各自专注的适用场景，比如hadoop主要是做数据的存储及批处理计算，spark既可以做批处理也可以做准实时计算，同时也支持机器学习和图计算，storm主要专注于实时计算。 在国外一些开源社区将flink分为四代：hadoop： 使用DAG（Tez）+MR Spark问题？为什么在企业中很多公司依然使用Mr进行离线计算？主要是Mr的稳定性要远远的大于Spark，因为Mr是基于io的计算，基于io
2022-06-30 21:11:07
2079
原创 Java入门第一天1-Java概述
Java语言发展史 詹姆斯·高斯林（James Gosling）1977年获得了加拿大卡尔加里大学计算机科学学士学位，1983年获得了美国卡内基梅隆大学计算机科学博士学位，毕业后到IBM工作，设计IBM第一代工作站NeWS系统，但不受重视。后来转至Sun公司，1990年，与Patrick，Naughton和Mike Sheridan等人合作“绿色计划”，后来发展一套语言叫做“Oak”，后改名为Java。 SUN(Stanford University Network，斯坦福大学网
2022-06-29 21:41:02
114
原创 Flink on yarn任务内存调优
flink taskmanager任务运行时的内存模型如下： 可以看到flink taskmanager任务内存主要分为两大块，一个是flink框架和任务本身的内存，一个是jvm本身的内存开销。 taskmanager.memory.process.size 这个配置是配置flink taskmanager任务的总内存，里面各个区域的内存划分flink框架会根据默认比例进行划分，但有时候默认的划分并不能满足我们的需求，容易造成内存和计算资源浪费。 下面将介绍flin
2022-06-29 10:15:28
1169
原创 java验证手机号码的工具类-截止2022年中国大陆四家运营商以及虚拟运营商手机号码校验
截止2022年2月份中国大陆四家运营商以及虚拟运营商手机号码段如下：对应的正则表达式如下：3、使用正则进行手机号码校验3.1、中国移动手机号码校验判断手机号码是否属于中国移动3.2、中国联通手机号码校验判断手机号码是否属于中国联通3.3、中国电信手机号码校验判断手机号码是否属于中国电信3.4、中国大陆手机号码校验判断手机号码是否属于中国大陆四家运营商或虚拟运营商的手机号码4、获取手机号码属于运营商传入手机号码，返回手机所属的运营商。5、工具类代码集...
2022-06-28 17:02:16
2890
2
原创 一个java读写文件数据的工具类
分享一个单纯通过java代码，无任何第三方依赖。读取文件和写入文件的工具类。对java IO流的构建和资源的关闭已经默认实现，只需直接调用就可以对文件进行读写操作，方便你我他。只需要引入 import java.io、 import java.util 这两个包即可。使用 BufferedReader 进行读取，将读取数据的每一行保存到List中，最后返回List对象。也可以重写上述方法，直接传入文件路径 1.2、读取代码的resource目录下文件，打成jar包后方便直接加载r...
2022-06-28 16:13:52
1192
原创 视觉感知在数据可视化中的作用
数据可视化的目标是让用户最真实、最高效的接收到界面所传达的信息内容。在过去很长的一段时间，数据可视化是将线下信息移至线上，形成简单数字化模型，达到高效、易懂的展示交互目标。 高效的计算机可视化系统能够模拟人类的视觉感知系统，在可视化结果中凸显数据蕴含的重要信息和模式，从而帮助人们快速完成数据的认知过程。大数据可视化是利用计算机图形学和图像处理技术，将数据转换为图形或图像在屏幕上显示出来，并进行各种交互处理的理论、方法和技术。将数据直观地展现出来，以帮助人们理解数据，同时找出包含在海量数据中的规
2022-06-28 15:34:58
1330
原创 Flink SQL任务TaskManager内存设置
在提交flink任务时，通过 taskmanager.memory.process.size 配置 taskmanager的总运行内存，其内的细节内存根据默认比例划分有时候也会存在不合理。如下所示： 配置了10G的taskmanager运行总内存，默认给Managed Memory分配了3.5G的内存，实际任务运行这部分根本不需要这么多内存。如何对内存进行最大化管理和配置就十分重要了。 本文主要介绍FlinkSQL的任务 TaskManager内存调优，其他flink任务也可以作
2022-06-28 14:31:13
4157
3
原创 flink任务内存调优，TaskManager、JobManager内存配置
Flink是基于java的JVM运行，拥有高效的数据处理能力，但是考虑到用户在 Flink 上运行的应用的多样性，尽管flink框架已经为所有配置项提供合理的默认值，仍无法满足所有情况下的需求。 flink进程总内存、taskmanager内存、jobmanager内存配置...
2022-06-28 11:29:30
7233
原创 kafka创建topic、添加配置等相关操作
创建topic、kafka命令行消费者、kafka命令行生产者、删除topic、kafka单个topic增加配置。kafka-console-consumer、kafka-console-producer、kafka-topics、kafka-configs的使用
2022-06-28 10:32:29
20487
1
ava_kinetics_v1_0.tar.gz
2022-08-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人