- 博客(79)
- 收藏
- 关注
原创 Flink Window 窗口【更新中】
窗口将无界流(unbounded data stream)划分很多有界流(bounded stream),对无界流进行计算。在Flink计算引擎中,支持窗口类型有很多种,几乎所有Streaming流式计算引擎需要实现窗口都支持。,在DataStream转换图中,可以发现处处都可以对DataStream进行窗口Window计算。在Flink流式计算中,最重要的转换就是。在实际业务需求中,往往说窗口,指的就是。
2024-07-13 13:12:19
439
原创 flink Transformation算子(更新中)
flink Transformation算子部分Transformation算子map该方法是将一个DataStream调用map方法返回一个新的DataStream。本质是将该DataStream中对应的每一条数据依次迭代出来,应用map方法传入的计算逻辑,返回一个新的DataStream。原来的DataStream中对应的每一条数据,与新生成的DataStream中数据是一一对应的,也可以说是存在着映射关系的。package com.lyj.sx.flink.day03;import or
2024-06-02 16:08:12
960
原创 flink Data Source数据源
socketTextStream(String hostname, int port) 方法是一个非并行的Source,该方法需要传入两个参数,第一个是指定的IP地址或主机名,第二个是端口号,即从指定的Socket读取数据创建DataStream。该方法还有多个重载的方法,其中一个是socketTextStream(String hostname, int port, String delimiter, long maxRetry),这个重载的方法可以指定行分隔符和最大重新连接次数。
2024-05-26 11:48:00
514
原创 中药辨别二
真海参的外形有长短不一的刺,表面整体造型还是非常完整的,但是人造海参看起来的刺一般都平整,并且表面有一些还有一些损伤,特别是摸起来有弹性的是真海参,如果是摸起来有那种弹性不是很足的那么就是假海参了。1、亚香棒虫草:亚香棒虫草外形与冬虫夏草相似,但是其子座短,有的不孕,并且常有分枝,这种虫草的虫体表面色泽黄棕色至棕褐色,头部有棕色的环节,没有足部,也没有“v”字型的纹理。无糖,上半部分为不透明的深黄色(无糖加工过程中形成的),有细纵纹,下半部暗红棕色,半透明,质地柔,无黏手感,味苦,黏牙、参味浓。
2024-05-04 17:22:36
553
原创 社会爱情心理学
提供思维工具,帮你做出更符合内心的选择用社会学思维看爱情,最终目的是自我成长 实践爱情,不断形塑自己世界是情感共同体,处理爱情的能力可以 迁移到其他关系中
2024-02-20 13:18:46
639
原创 python整理
变量定义格式: 变量名=值num1 = 100 num2 = 87 result = num1 + num2 print(result) # 定义一个数字类型变量num num = 10 # 这里使用type就可以查看num的具体类型 print(type(num))
2023-07-30 01:00:04
217
原创 HBASE整理
HBase是采用java语言编写的一款 apache 开源的基于HDFS的nosql型数据库,不支持 SQL, 不支持事务, 不支持Join操作,没有表关系。既然是基于HDFS的, 那么也就意味HBase的数据最终是存在HDFS上, 在启动HBase集群之前, 必须要先启动HDFS。HBase中数据存储都是以字节的形式来存储的。主要存储结构化数据以及半结构化的数据。不支持事务, 仅支持单行事务。hbase易于扩展的。
2023-05-03 14:18:18
1024
原创 kafka整理
kafka是apache旗下一款开源的顶级的消息队列的系统, 最早是来源于领英, 后期将其贡献给apache, 采用语言是scala.基于zookeeper, 启动kafka集群需要先启动zookeeper集群, 同时在zookeeper记录kafka相关的元数据kafka本质上就是消息队列的中间件产品 ,kafka中消息数据是直接存储在磁盘上可靠性可扩展性耐用性高性能。
2023-04-30 15:31:05
3337
原创 穴位按摩前言部分
声明:本内容来源于《经络穴位按摩大图册》,仅用于学习。书中内容的正确性本人没曾验证。前言取穴方法简单取穴风市:自然立正,垂臂于大腿外侧,中指断所指之处劳宫:半握拳,中指尖压在掌心的第一横纹处合谷:一手轻握拳,另一手握于拳外,大拇指指腹垂直下压处。手指同身寸法中指同身寸:以自己的中指指节桡侧两端横纹之间的距离为一寸拇指同身寸:以自己拇指的第一关节的宽度为1寸横纹同身寸:将自己的食指、中指、无名指、小指并拢,以中指中节关节横纹为标准,四指的宽度为3寸固定法和活动标志方法:按摩常用的
2021-11-28 11:57:16
236
原创 python基础一
一、Python注释通过用自己熟悉的语言,在程序中对某些代码进行标注说明,这就是注释的作用,能够大大增强程序的可读性。1.1注释的分类及语法注释分为两类:单行注释 和 多行注释。单行注释只能注释一行内容,语法如下:注释内容多行注释可以注释多行内容,一般用在注释一段代码的情况, 语法如下:""" 第一行注释 第二行注释 第三行注释"""''' 注释1 注释2 注释3'''快捷键: ctrl + /总结注释的作用用人类熟悉的语言
2021-10-24 22:11:15
86
原创 flink的window
Flink的Window操作Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。而窗口(window)就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制。什么是window在流处理应用中,数据是连续不断的,因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次,但是有时我们需要做一些聚合类的处理,例如:在过去的1分钟内有多少用户点击了我们的网页。在这
2021-08-03 22:46:54
198
原创 flink之DataStream的Transformation以及sink
DataStream的TransformationkeyBy按照指定的key来进行分流,类似于批处理中的groupBy。可以按照索引名/字段名来指定分组的字段.package com.ccj.pxj.heima.stream.tranimport org.apache.flink.streaming.api.scala._/** * 1. 获取流处理运行环境 * 2. 设置并行度 * 3. 获取数据源 * 4. 转换操作 * 1. 以空白进行分割 * 2. 给每个单词计数1 *
2021-08-01 00:28:00
160
原创 flink的流处理的source
flink的流处理的source输入数据集DataSourceFlink 中你可以使用 StreamExecutionEnvironment.getExecutionEnvironment 创建流处理的执行环境Flink 中你可以使用 StreamExecutionEnvironment.addSource(source) 来为你的程序添加数据来源。Flink 已经提供了若干实现好了的 source functions,当然你也可以通过实现 SourceFunction 来自定义非并行的sourc
2021-07-29 23:23:31
513
1
原创 flink的广播、累加、缓存
flink的广播、累加器、分布式缓存Flink的广播变量Flink支持广播。可以将数据广播到TaskManager上,数据存储到内存中。数据存储在内存中,这样可以减缓大量的shuwle操作;比如在数据join阶段,不可避免的就是大量的shuwle操作,我们可以把其中一个dataSet广播出去,一直加载到taskManager的内存中,可以直接在内存中拿数据,避免了大量的shuwle,导致集群性能下降;广播变量创建后,它可以运行在集群中的任何function上,而不需要多次传递给集群节点。另外需要记
2021-07-29 12:47:13
427
原创 flink的批处理的sink
flink在批处理中常见的sink基于本地集合的sink(Collection-based-sink)基于文件的sink(File-based-sink)基于本地集合的sink目标:基于下列数据,分别 进行打印输出,error输出,collect()(19, “zhangsan”, 178.8),(17, “lisi”, 168.8),(18, “wangwu”, 184.8),(21, “zhaoliu”, 164.8)package com.ccj.pxj.heima.sinkim
2021-07-26 23:33:35
571
原创 Flink批处理Transformation
Flink批处理Transformation在这里插入图片描述map将DataSet中的每一个元素转换为另外一个元素package com.ccj.pxj.heima.tranimport org.apache.flink.api.scala._object MapTrans { def main(args: Array[String]): Unit = { //1. 获取 ExecutionEnvironment 运行环境 val env: ExecutionEn
2021-07-25 23:02:15
265
1
原创 flink的Source
Flink批处理开发Flink 应用程序结构主要包含三部分,Source/Transformation/Sink,如下图所示:Source: 数据源,Flink 在流处理和批处理上的 source 大概有 4 类:基于本地集合的 source基于文件的 source基于网络套接字的 source自定义的 source。自定义的 source 常见的有 Apache kafka、Amazon Kinesis Streams、RabbitMQ、TwitterStreaming API、Apache
2021-07-24 14:08:29
441
原创 flink的SQL入门二
tablepackage com.ccj.pxj.wy.zhaoq.sqlimport org.apache.flink.api.scala._import org.apache.flink.table.api.{Table, TableEnvironment}object WordCountBatchTable { case class WordCount(word:String,frequency:Int) def main(args: Array[String]): Unit =
2021-07-21 00:02:41
93
原创 flink之SQL入门
SQL部分学习Table API的特点Table API和SQL都是Apache Flink中高等级的分析API,SQL所具备的特点Table API也都具有,如下:声明式 - 用户只关心做什么,不用关心怎么做;高性能 - 支持查询优化,可以获取最好的执行性能;流批统一 - 相同的统计逻辑,既可以流模式运行,也可以批模式运行;标准稳定 - 语义遵循SQL标准,语法语义明确,不易变动。当然除了SQL的特性,因为Table API是在Flink中专门设计的,所以Table API还具有自身的特点:
2021-07-18 23:52:34
546
1
原创 回文字符串判断
回文字符串判断package com.pxj.cuanfa05;public class PalindromeString { public static void main(String[] args) { } public static boolean IsChar(char c){ return (c>='a' && c<='z') || (c>='A' && c<='Z') || (c>
2021-03-08 21:02:14
77
原创 算法之常见的定值求和
P2. 求和为给定值的两个数和P3. 有序数组中求和为给定值的两个数求和为给定值的两个数package com.pxj.cuanfa05;import java.util.HashMap;import java.util.Map;public class OneClassz { public static void main(String[] args) { OneClassz oneClassz = new OneClassz(); int[] arr
2021-03-08 12:57:55
317
原创 spark编译
一、编译1.安装maven#mavenexport MAVEN_HOME=/home/pxj/app/apache-maven-3.6.3export PATH=$MAVEN_HOME/bin:$PATH#antexport ANT_HOME=/home/pxj/app/apache-ant-1.10.7export PATH=${ANT_HOME}/bin:$PATH1.2.修...
2020-03-21 00:45:30
178
原创 MR清洗IP数据
pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="htt...
2020-02-17 12:55:41
1111
原创 flume入门级
flume一、下载[pxj@pxj /opt]$sudo wget http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.16.2.tar.gz[sudo] pxj 的密码:--2020-02-13 01:21:32-- http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1....
2020-02-16 01:09:16
198
原创 JAVA解析IP地址
POM文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="htt...
2020-02-12 01:26:06
2165
2
原创 生产日志
package com.ccj.wfy.makedata;import java.io.BufferedWriter;import java.io.File;import java.io.FileOutputStream;import java.io.OutputStreamWriter;import java.text.SimpleDateFormat;import java.ut...
2020-02-11 00:53:12
455
原创 mr处理Json数据
pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="htt...
2020-02-07 16:14:28
409
原创 scala入门
一、Scala的var和valpackage com.ccj.pxj.varOrvalobject VarDemo { val girlFriend = "小白" def main(args: Array[String]): Unit = { var name: String = "smith" var age: Int = 10 var gender: Ch...
2020-02-07 02:02:50
143
原创 sparkStreaming入门
1、Spark Streaming 简介Spark Streaming 是核心 Spark API 的扩展,可实现可扩展、高吞吐量、可容错的实时数据流处理。数据可以从诸如 Kafka,Flume,Kinesis 或 TCP 套接字等众多来源获取,并且可以使用由高级函数(如 map,reduce,join 和 window)开发的复杂算法进行流数据处理。最后,处理后的数据可以被推送到文件系统,数据...
2020-02-06 02:13:46
212
原创 flink入门单词统计
pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http:...
2020-02-05 02:38:22
689
原创 sparkSQL入门
一、概述Spark SQL 是 Spark 用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame 并且作为分布式 SQL 查询引擎的作用。为什么要学习 Spark SQL?我们已经学习了 Hive,它是将 Hive SQL 转换成MapReduce 然后提交到集群上执行,大大简化了编写 MapReduce 的程序的复杂性,由于 MapReduce 这种计算模型执行效率比较慢...
2020-02-05 01:02:01
314
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人