- 博客(37)
- 收藏
- 关注
RSS订阅原创 flink算子之sink算子
sink算子： 把计算之后的最终结果写入到某个位置1.文件1）writeAsText/ writeAsCsv弃用的方法，但是可以使用如果并行度为1，直接以一个文件的形式体现，内容是追加的，因为设置了并行度env.setParallelism(1)如果并行度大于1，以一个目录的形式出现，并行度是几就有几个文件，不设置并行度时，CPU的核数为并行度数目dataStreamOriginal.writeAsText("E://path")2) addSink(StreamingF
2022-05-31 15:38:03
1026
原创 flink的算子之transform算子
一.flink算子的执行过程env -> source -> transform -> sink3.transform算子转换算子，把当前的DataStream转化为另一个DataStream1）简单转换算子（DataStream）不涉及到分组，不涉及拆分与合并，可以以one-to-one传递数据的流前提：在虚拟机开启8888端口，在端口发送数据，在控制台进行接收原数据nc -lk 8888注意：转换算子需要用到隐式转换import org.ap.
2022-05-31 09:53:02
956
原创 flink的算子，Source算子
一.flink算子执行过程env -> source -> transform -> sink1.env根据不同的运行方式采取不同的运行环境a.批处理1）运行环境：ExecutionEnvironment2）所有数据进行整体处理3）返回的数据类型为：DataSetb.流处理1）运行环境：StreamExecutionEnvironment2）流处理必须添加开启启动执行的语句： env.execute(" ")3）不管是什么数据源都得按实时流数据进
2022-05-30 17:13:36
643
原创 flink工作原理
一.flink运行时的组件1.Dispatcher(分发器)一个可有可无的组件，提供了一个webUI，可以用webUI提交任务，也可以选择命令行提交2.JobManager主节点（作业管理器）接收要执行的应用程序(application),对job任务做整体的资源调度，划分很多个task任务，分布给TaskManager执行3.ResourceManager（资源管理器）根据不同情况进行分配slot(资源),对JobManager提供的slot请求，根据现有的slot情况进行分配sl
2022-05-27 18:19:34
2023
原创 flink的onYarn模式环境搭建
一.onYarn模式把资源管理器交给yarn模式进行管理1.两种运行模式1）session-cluster模式session：会话，开辟一块新的公共的空间先启动集群，直接向yarn申请空间，资源（session）保持不变，这个集群会常驻在yarn的集群中，不需要时进行手动停止，job任务可以向这个session提交，所有任务共享这个session，如果资源用完，需要等待之间的任务执行完毕释放资源才可以使用。例：有100个工人，装修公司有5家，a公司有30人，b公司有10人等，a公司不
2022-05-27 12:48:18
1185
1
原创 flink的standalone模式环境搭建
一.standalone模式所有的资源都由flink自己管理flink的jar包：flink-1.11.2-bin-scala_2.11.tgz把安装包放到linux中bin #服务或命令conf #配置文件examples #实例，案例lib #jar包log #日志1.解压缩tar -xzvf flink-1.11.2-bin-scala_2.11.tgz 修改名字mv flink-1.11.2/ flink2.配置环境变量#回到家目录
2022-05-25 18:13:34
879
2
原创 flink
一.flink是什么实时计算框架，流处理对于有界和无界的数据流进行有状态计算的框架和分布式处理引擎flink和spark的对比spark整体思想是批处理，也可以做流处理，即利用微批次模拟流处理flink整体思想是流处理，也可以做批处理，即通过添加界限模拟批处理1.DataStream(数据流)源源不断产生的数据，可以确定flink是实时的计算框架2.unbounded(无界) / bounded（有界）unbounded 源源不断的产生且没有任何限制的数据流，.
2022-05-25 15:21:25
316
原创 2021-10-03
键盘随意输入一个字符串，统计各个字符出现的次数 ☆（大写字母、小写字母、数字、其他）import java.util.Scanner;public class Demo {public static void main(String[] args) {Scanner scanner = new Scanner(System.in);System.out.println(“请输入一个字符串：”);String str=scanner.next();int bigcon=0;int smollc
2021-10-03 18:58:35
48
原创 2021-10-03
给定一个字符串，截取出所有的语言名称，并用/分隔String str=“python@css,html/phpjava&javascript#c!mysql";public class Demo {public static void main(String[] args) {String str="python@css,html/phpjava&javascript#c!mysql”;String s="";char[] arr = str.toCharArray();for
2021-10-03 18:35:13
46
原创 2021-10-03
给定一个字符串，截取出所有的英文字母 ☆ String str = “Hello,java,c++,python,html,css,mysql”;方法一public class Demo {public static void main(String[] args) {String str = “Hello,java,c++,python,html,css,mysql”;char[] arr = str.toCharArray();String s="";for (char n : arr)
2021-10-03 17:47:34
57
原创 2021-10-03
抽奖 ☆需求：共50张彩票，27张有奖，23张无奖特等奖1张（1）一等奖3张（2-4）二等奖5张（5-9）三等奖8张（10-17）鼓励奖10张（18-27）抽奖方式：共10人抽奖，每人抽5次，每次抽完显示几等奖，五次抽完取最高奖再次输出抽奖动作：按1抽奖import java.util.ArrayList;import java.util.Random;import java.util.Scanner;public class Demo {public static void
2021-10-03 16:54:39
59
原创 2021-10-03
用一个大集合存入20个随机整数，然后筛选出奇数，放入小集合中，并遍历小集合。import java.util.ArrayList;import java.util.Random;public class Demo {public static void main(String[] args) {ArrayList biglist = new ArrayList<>();ArrayList smolllist = new ArrayList<>();Random rand
2021-10-03 15:59:23
54
原创 2021-10-03
定义一个方法，以{元素@元素@元素}格式遍历集合元素public class Demo {public static void main(String[] args) {ArrayList list = new ArrayList<>();list.add(“Java”);list.add(“Python”);list.add(“c++”);list.add(“word”);add(list);}public static void add(ArrayList list){
2021-10-03 15:49:16
51
原创 2021-10-03
自定义10个学生对象，添加到集合，并遍历（提示：集合中存的是对象，那么泛型就是类名）public class Demo {public static void main(String[] args) {ArrayList list = new ArrayList<>();for (int i = 0; i < 10; i++) {list.add(new Student());}System.out.println(list);}}...
2021-10-03 15:47:45
46
原创 2021-10-03
生成5个1-100之间随机整数，并添加到集合中，然后遍历出来import java.util.ArrayList;import java.util.Random;import java.util.Scanner;//生成5个1-100之间随机整数，并添加到集合中，然后遍历出来public class Demo {public static void main(String[] args) {Random random = new Random();ArrayList list = new A
2021-10-03 15:06:38
54
原创 2021-10-03
猜数游戏：1-100之间，输入值，然后返回太大或太小，并记录次数 （guess 猜测）要求：次数<=2次，说一句你真ne次数>5次，说一句真tm笨import java.util.Random;import java.util.Scanner;public class Demo {public static void main(String[] args) {Random random = new Random();int num=random.nextInt(100)+1;
2021-10-03 14:49:18
200
原创 2021-10-03
定义一个方法，比较两个整数是否相等（利用重载，只考虑相同整型）public class Demo {public static void main(String[] args) {System.out.println(issame(1L,3L));}public static boolean issame(byte a,byte b){if(ab)return true;return false;}public static boolean issame(int a,int b){re
2021-10-03 14:18:12
70
原创 2021-10-02
定义方法，将数组int[] arr={1,3,0,6,3,0,5,8,9,0,51,0,28,0,36,23};去掉0变成一个新数组，并升序排列import java.util.Arrays;import java.util.Scanner;//定义方法，将数组int[] arr={1,3,0,6,3,0,5,8,9,0,51,0,28,0,36,23};去掉0变成一个新数组，并升序排列public class Demo {public static void main(String[] args
2021-10-02 17:00:46
47
原创 2021-10-02
定义方法，无限次输入数字（1-100之间），直至输入0为止，计算每个数字被输入多少次import java.util.Scanner;//定义方法，无限次输入数字（1-100之间），直至输入0为止，计算每个数字被输入多少次public class Demo {public static void main(String[] args) {Scanner scanner = new Scanner(System.in);int[] arr=new int[100];while(true) {S
2021-10-02 16:59:58
73
原创 2021-09-25
int[] arr={1,3,0,6,3,0,5,8,9,0,51,0,28,0,36,23};public static void main(String[] args) {// 定义方法，将数组int[] arr={1,3,0,6,3,0,5,8,9,0,51,0,28,0,36,23};去掉0变成一个新数组，并升序排列int[] arr={1,3,0,6,3,0,5,8,9,0,51,0,28,0,36,23};System.out.println(Arrays.toStrin
2021-09-25 20:55:14
38
原创 2021-09-25
int[] arr={1,3,0,6,3,0,5,8,9,0,51,0,28,0,36,23};  {// 定义方法，无限次输入数字（1-100之间），直至输入0为止，计算每个数字被输入多少次int[] array = new int[100];Scanner sc = new Scanner(System.in);while (true) {System.out.println(“请输入数字0-100之间（按0停止）:
2021-09-25 20:51:38
43
原创 2021-09-25
定义方法，用来打印指定次数的hello worldpublic static void main(String[] args) {// 定义方法，用来打印指定次数的hello worldstamp(new Scanner(System.in).nextInt());}public static void stamp(int n) {for (int i = 0; i < n; i++) {System.out.println(“hello world”);}...
2021-09-25 20:48:42
38
原创 2021-09-25
定义方法，用来求出1-n之间所有能被3整除的整数和public static void main(String[] args) {// 定义方法，用来求出1-n之间所有能被3整除的整数和Scanner sc = new Scanner(System.in);int num=sc.nextInt();int n=add(num);System.out.println(n);}public static int add(int qinput){int sum=0;for (i
2021-09-25 20:47:24
949
原创 2021-09-21
⑤数组随机排序 ☆（算法）String[] arr = {“php”,“java”,“python”,“js”,“html”,“css”}; 随机打乱顺序 ☆String[] arr={“php”,“java”,“python”,“js”,“html”};String temp;for (int i = 0; i < arr.length; i++) {Random random = new Random();int num=random.nextInt(arr.length-1);te
2021-09-21 19:59:44
41
原创 2021-09-21
整型数组长度为100，元素在1-20之间随机，求出现次数最多的元素及次数int[] arr = new int[100];for (int i = 0; i < arr.length; i++) {arr[i] = new Random().nextInt(20) + 1;}System.out.println(Arrays.toString(arr));int max = 0;ArrayList list = new ArrayList();for (int number : ar
2021-09-21 19:58:02
56
原创 2021-09-21
输入一个数字，在长度为10的随机整数(1-100)数组中查找，若有输出ok，若没有输出noint[] arr=new int[10];for (int i = 0; i < arr.length; i++)arr[i]=new Random().nextInt(100)+1;for (int i : arr)System.out.println(i);Scanner scanner = new Scanner(System.in);int num=scanner.nextInt();
2021-09-21 19:54:38
45
原创 2021-09-21
数组元素的反转：String[] arr = {“php”,“java”,“python”,“js”,“html”,“css”}; 数组变化要求：不能创建新的数组String str;String[] arr={“php”,“java”,“python”,“js”,“html”,“css”};for (int i = 0; i < arr.length/2; i++) {str=arr[arr.length-1-i];arr[arr.length-1-i]=arr[i];arr[i]
2021-09-21 19:52:57
35
原创 2021-09-21
寻找整型数组中最大的值（java）int[] arr={12,4,88,23,98,32,45};int max=arr[0];for (int i = 1; i <arr.length ; i++) {if(max<arr[i])max=arr[i];}System.out.println(max);
2021-09-21 19:50:31
39
原创 2021-09-18
用java中的while写99 乘法表源程序public class wh2 {public static void main(String[] args) {int n,m=1;while(m<=9){n=1;while(n<=m){System.out.print(m+""+n+"="+mn+" ");++n;}{++m;System.out.println();}}}
2021-09-18 15:01:20
39
原创 2021-09-18
用java写99乘法表（另一种方式）源代码public class W9 {public static void main(String[] args) {for (int i = 1; i <10 ; i++) {for (int j = 1; j <= i; j++) {System.out.print(j);System.out.print(" ");}System.out.println();}}
2021-09-18 14:25:07
39
原创 2021-09-18
java程序写空心直角三角形（99乘法表）源代码public class w {public static void main(String[] args) {char q = ‘*’;char w = ‘=’;for (int i = 1; i < 10; i++) {for (int j = 1; j <= i; j++) {if (j 1 || j>=i ||i9) {int s = i * j;System.out.print(j);System.out.
2021-09-18 14:22:07
48
原创 2021-09-18
java程序写99乘法表源代码char q=’’;char w=’=’;for (int i = 1; i <10 ; i++) {for (int j = 1; j <= i; j++) {int s=ij;System.out.print(j);System.out.print(q);System.out.print(i);System.out.print(w);System.out.print(s);System.out.print(" ");}Syste
2021-09-18 14:17:06
41
原创 2021-09-18
java程序输写空心等腰三角形（99乘法表）package com.q1.w;public class w11 {public static void main(String[] args) {char q = ‘*’;char w = ‘=’;for (int i = 1; i <10 ; i++) {for (int j = i+1; j <10 ; j++) {System.out.print(" “);}for (int z = 1; z <=i ; z+
2021-09-18 14:10:05
87
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人