- 博客(79)
- 收藏
- 关注
RSS订阅原创 Flink Window 窗口【更新中】
窗口将无界流（unbounded data stream）划分很多有界流（bounded stream），对无界流进行计算。在Flink计算引擎中，支持窗口类型有很多种，几乎所有Streaming流式计算引擎需要实现窗口都支持。，在DataStream转换图中，可以发现处处都可以对DataStream进行窗口Window计算。在Flink流式计算中，最重要的转换就是。在实际业务需求中，往往说窗口，指的就是。
2024-07-13 13:12:19
439
原创 flink Transformation算子（更新中）
flink Transformation算子部分Transformation算子map该方法是将一个DataStream调用map方法返回一个新的DataStream。本质是将该DataStream中对应的每一条数据依次迭代出来，应用map方法传入的计算逻辑，返回一个新的DataStream。原来的DataStream中对应的每一条数据，与新生成的DataStream中数据是一一对应的，也可以说是存在着映射关系的。package com.lyj.sx.flink.day03;import or
2024-06-02 16:08:12
960
原创 flink Data Source数据源
socketTextStream(String hostname, int port) 方法是一个非并行的Source，该方法需要传入两个参数，第一个是指定的IP地址或主机名，第二个是端口号，即从指定的Socket读取数据创建DataStream。该方法还有多个重载的方法，其中一个是socketTextStream(String hostname, int port, String delimiter, long maxRetry)，这个重载的方法可以指定行分隔符和最大重新连接次数。
2024-05-26 11:48:00
514
原创 中药辨别二
真海参的外形有长短不一的刺，表面整体造型还是非常完整的，但是人造海参看起来的刺一般都平整，并且表面有一些还有一些损伤，特别是摸起来有弹性的是真海参，如果是摸起来有那种弹性不是很足的那么就是假海参了。1、亚香棒虫草：亚香棒虫草外形与冬虫夏草相似，但是其子座短，有的不孕，并且常有分枝，这种虫草的虫体表面色泽黄棕色至棕褐色，头部有棕色的环节，没有足部，也没有“v”字型的纹理。无糖，上半部分为不透明的深黄色（无糖加工过程中形成的），有细纵纹，下半部暗红棕色，半透明，质地柔，无黏手感，味苦，黏牙、参味浓。
2024-05-04 17:22:36
553
原创 社会爱情心理学
提供思维工具，帮你做出更符合内心的选择用社会学思维看爱情，最终目的是自我成长 实践爱情,不断形塑自己世界是情感共同体，处理爱情的能力可以 迁移到其他关系中
2024-02-20 13:18:46
639
原创 python整理
变量定义格式: 变量名=值num1 = 100 num2 = 87 result = num1 + num2 print(result) # 定义一个数字类型变量num num = 10 # 这里使用type就可以查看num的具体类型 print(type(num))
2023-07-30 01:00:04
217
原创 HBASE整理
HBase是采用java语言编写的一款 apache 开源的基于HDFS的nosql型数据库,不支持 SQL, 不支持事务, 不支持Join操作,没有表关系。既然是基于HDFS的, 那么也就意味HBase的数据最终是存在HDFS上, 在启动HBase集群之前, 必须要先启动HDFS。HBase中数据存储都是以字节的形式来存储的。主要存储结构化数据以及半结构化的数据。不支持事务, 仅支持单行事务。hbase易于扩展的。
2023-05-03 14:18:18
1024
原创 kafka整理
kafka是apache旗下一款开源的顶级的消息队列的系统, 最早是来源于领英, 后期将其贡献给apache, 采用语言是scala.基于zookeeper, 启动kafka集群需要先启动zookeeper集群, 同时在zookeeper记录kafka相关的元数据kafka本质上就是消息队列的中间件产品 ,kafka中消息数据是直接存储在磁盘上可靠性可扩展性耐用性高性能。
2023-04-30 15:31:05
3337
原创 穴位按摩前言部分
声明：本内容来源于《经络穴位按摩大图册》，仅用于学习。书中内容的正确性本人没曾验证。前言取穴方法简单取穴风市：自然立正，垂臂于大腿外侧，中指断所指之处劳宫：半握拳，中指尖压在掌心的第一横纹处合谷：一手轻握拳，另一手握于拳外，大拇指指腹垂直下压处。手指同身寸法中指同身寸：以自己的中指指节桡侧两端横纹之间的距离为一寸拇指同身寸：以自己拇指的第一关节的宽度为1寸横纹同身寸：将自己的食指、中指、无名指、小指并拢，以中指中节关节横纹为标准，四指的宽度为3寸固定法和活动标志方法：按摩常用的
2021-11-28 11:57:16
236
原创 python基础一
一、Python注释通过用自己熟悉的语言，在程序中对某些代码进行标注说明，这就是注释的作用，能够大大增强程序的可读性。1.1注释的分类及语法注释分为两类：单行注释 和 多行注释。单行注释只能注释一行内容，语法如下：注释内容多行注释可以注释多行内容，一般用在注释一段代码的情况， 语法如下：""" 第一行注释 第二行注释 第三行注释"""''' 注释1 注释2 注释3'''快捷键： ctrl + /总结注释的作用用人类熟悉的语言
2021-10-24 22:11:15
86
原创 flink的window
Flink的Window操作Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制。什么是window在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。在这
2021-08-03 22:46:54
198
原创 flink之DataStream的Transformation以及sink
DataStream的TransformationkeyBy按照指定的key来进行分流，类似于批处理中的groupBy。可以按照索引名/字段名来指定分组的字段.package com.ccj.pxj.heima.stream.tranimport org.apache.flink.streaming.api.scala._/** * 1. 获取流处理运行环境 * 2. 设置并行度 * 3. 获取数据源 * 4. 转换操作 * 1. 以空白进行分割 * 2. 给每个单词计数1 *
2021-08-01 00:28:00
160
原创 flink的流处理的source
flink的流处理的source输入数据集DataSourceFlink 中你可以使用 StreamExecutionEnvironment.getExecutionEnvironment 创建流处理的执行环境Flink 中你可以使用 StreamExecutionEnvironment.addSource(source) 来为你的程序添加数据来源。Flink 已经提供了若干实现好了的 source functions，当然你也可以通过实现 SourceFunction 来自定义非并行的sourc
2021-07-29 23:23:31
513
1
原创 flink的广播、累加、缓存
flink的广播、累加器、分布式缓存Flink的广播变量Flink支持广播。可以将数据广播到TaskManager上，数据存储到内存中。数据存储在内存中，这样可以减缓大量的shuwle操作；比如在数据join阶段，不可避免的就是大量的shuwle操作，我们可以把其中一个dataSet广播出去，一直加载到taskManager的内存中，可以直接在内存中拿数据，避免了大量的shuwle，导致集群性能下降；广播变量创建后，它可以运行在集群中的任何function上，而不需要多次传递给集群节点。另外需要记
2021-07-29 12:47:13
427
原创 flink的批处理的sink
flink在批处理中常见的sink基于本地集合的sink（Collection-based-sink）基于文件的sink（File-based-sink）基于本地集合的sink目标:基于下列数据,分别 进行打印输出,error输出,collect()(19, “zhangsan”, 178.8),(17, “lisi”, 168.8),(18, “wangwu”, 184.8),(21, “zhaoliu”, 164.8)package com.ccj.pxj.heima.sinkim
2021-07-26 23:33:35
571
原创 Flink批处理Transformation
Flink批处理Transformation在这里插入图片描述map将DataSet中的每一个元素转换为另外一个元素package com.ccj.pxj.heima.tranimport org.apache.flink.api.scala._object MapTrans { def main(args: Array[String]): Unit = { //1. 获取 ExecutionEnvironment 运行环境 val env: ExecutionEn
2021-07-25 23:02:15
265
1
原创 flink的Source
Flink批处理开发Flink 应用程序结构主要包含三部分,Source/Transformation/Sink,如下图所示：Source: 数据源，Flink 在流处理和批处理上的 source 大概有 4 类：基于本地集合的 source基于文件的 source基于网络套接字的 source自定义的 source。自定义的 source 常见的有 Apache kafka、Amazon Kinesis Streams、RabbitMQ、TwitterStreaming API、Apache
2021-07-24 14:08:29
441
原创 flink的SQL入门二
tablepackage com.ccj.pxj.wy.zhaoq.sqlimport org.apache.flink.api.scala._import org.apache.flink.table.api.{Table, TableEnvironment}object WordCountBatchTable { case class WordCount(word:String,frequency:Int) def main(args: Array[String]): Unit =
2021-07-21 00:02:41
93
原创 flink之SQL入门
SQL部分学习Table API的特点Table API和SQL都是Apache Flink中高等级的分析API，SQL所具备的特点Table API也都具有，如下：声明式 - 用户只关心做什么，不用关心怎么做；高性能 - 支持查询优化，可以获取最好的执行性能；流批统一 - 相同的统计逻辑，既可以流模式运行，也可以批模式运行；标准稳定 - 语义遵循SQL标准，语法语义明确，不易变动。当然除了SQL的特性，因为Table API是在Flink中专门设计的，所以Table API还具有自身的特点：
2021-07-18 23:52:34
546
1
原创 回文字符串判断
回文字符串判断package com.pxj.cuanfa05;public class PalindromeString { public static void main(String[] args) { } public static boolean IsChar(char c){ return (c>='a' && c<='z') || (c>='A' && c<='Z') || (c>
2021-03-08 21:02:14
77
原创 算法之常见的定值求和
P2. 求和为给定值的两个数和P3. 有序数组中求和为给定值的两个数求和为给定值的两个数package com.pxj.cuanfa05;import java.util.HashMap;import java.util.Map;public class OneClassz { public static void main(String[] args) { OneClassz oneClassz = new OneClassz(); int[] arr
2021-03-08 12:57:55
317
原创 spark编译
一、编译1.安装maven#mavenexport MAVEN_HOME=/home/pxj/app/apache-maven-3.6.3export PATH=$MAVEN_HOME/bin:$PATH#antexport ANT_HOME=/home/pxj/app/apache-ant-1.10.7export PATH=${ANT_HOME}/bin:$PATH1.2.修...
2020-03-21 00:45:30
178
原创 MR清洗IP数据
pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="htt...
2020-02-17 12:55:41
1111
原创 flume入门级
flume一、下载[pxj@pxj /opt]$sudo wget http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.16.2.tar.gz[sudo] pxj 的密码：--2020-02-13 01:21:32-- http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1....
2020-02-16 01:09:16
198
原创 JAVA解析IP地址
POM文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="htt...
2020-02-12 01:26:06
2165
2
原创 生产日志
package com.ccj.wfy.makedata;import java.io.BufferedWriter;import java.io.File;import java.io.FileOutputStream;import java.io.OutputStreamWriter;import java.text.SimpleDateFormat;import java.ut...
2020-02-11 00:53:12
455
原创 mr处理Json数据
pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="htt...
2020-02-07 16:14:28
409
原创 scala入门
一、Scala的var和valpackage com.ccj.pxj.varOrvalobject VarDemo { val girlFriend = "小白" def main(args: Array[String]): Unit = { var name: String = "smith" var age: Int = 10 var gender: Ch...
2020-02-07 02:02:50
143
原创 sparkStreaming入门
1、Spark Streaming 简介Spark Streaming 是核心 Spark API 的扩展，可实现可扩展、高吞吐量、可容错的实时数据流处理。数据可以从诸如 Kafka，Flume，Kinesis 或 TCP 套接字等众多来源获取，并且可以使用由高级函数（如 map，reduce，join 和 window）开发的复杂算法进行流数据处理。最后，处理后的数据可以被推送到文件系统，数据...
2020-02-06 02:13:46
212
原创 flink入门单词统计
pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http:...
2020-02-05 02:38:22
689
原创 sparkSQL入门
一、概述Spark SQL 是 Spark 用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame 并且作为分布式 SQL 查询引擎的作用。为什么要学习 Spark SQL？我们已经学习了 Hive，它是将 Hive SQL 转换成MapReduce 然后提交到集群上执行，大大简化了编写 MapReduce 的程序的复杂性，由于 MapReduce 这种计算模型执行效率比较慢...
2020-02-05 01:02:01
314
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人