- 博客(422)
- 资源 (42)
- 问答 (4)
- 收藏
- 关注
RSS订阅原创 Dinky之安装部署与基本使用
Dinky是一个开箱即用的一站式实时计算平台以Apache Flink为基础，连接OLAP和数据湖等众多框架致力于流批一体和湖仓一体的建设与实践。
2023-12-05 22:35:15
148
原创 Flink之复杂事件处理CEP
FlinkCEP是在Flink之上实现的复杂事件处理（CEP）库。它允许我们检测无穷无尽的事件流中的事件模式，让我们有机会掌握数据中的重要内容。
2023-12-05 22:34:42
63
1
原创 Flink之Catalog
Catalog是一种用于管理和组织元数据的抽象。Catalog提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。
2023-11-11 23:26:04
1104
原创 Flink之Table API & SQL连接器
Apache Flink的Table API 和 SQL 程序可以连接到其他外部系统，以读写批处理和流式表。
2023-11-11 20:52:30
311
1
原创 Flink之Java Table API的使用
Table API是批处理和流处理的统一的关系型API，查询不需要修改代码就可以采用批输入或流输入来运行，并且是针对Apache Flink专门设计的。
2023-11-11 20:34:43
860
1
原创 Flink之SQL查询操作
Apache Flink提供了对流数据进行SQL查询的功能。Flink SQL查询语法遵循标准的SQL标准，同时还支持更复杂的查询、连接操作等，并且还可以与Flink的数据流处理功能无缝集成。
2023-11-10 15:07:51
247
原创 Flink之SQL客户端与DDL操作
Flink SQL是Flink框架中的一种查询语言，用于对数据流和批处理作业执行SQL查询和转换操作。它提供了一种声明性的方式来处理数据，使得开发人员能够使用熟悉的SQL语法来操作流式和批处理数据。
2023-11-10 14:38:39
401
原创 FlinK之检查点与保存点机制
在 Flink 中，检查点是用于实现状态一致性和故障恢复的关键机制。检查点功能可确保作业的状态在发生故障时能够进行可靠地恢复。
2023-11-08 20:11:12
571
1
原创 Flink之状态管理
Flink中的状态管理是指在流处理任务中对数据的状态进行有效管理和维护的过程。状态管理是非常重要的，因为它允许我们在流式处理中维护和操作数据的状态信息，以实现复杂的计算逻辑和应用需求。
2023-11-08 20:10:22
991
原创 使用Windows平台的Hyper-V虚拟机安装CentOS7的详细过程
作为一名开发者，就服务器而言，接触最多的便是CentOS系统，最近有集群的需要，于是特此记录一下，使用Windows平台的Hyper-V虚拟机安装CentOS7的详细过程。
2023-10-24 21:55:06
475
原创 Flink之输出算子Redis Sink
Redis具有其极高的写入读取性能，因此也是经常使用的Sink之一。可以使用Java Redis客户端Jedis手动实现，也可以使用Flink和Bahir提供的实现来实现。
2023-10-22 09:50:08
221
原创 Flink之常用处理函数
处理函数Processing Function是Apache Flink中用于对数据流上的元素进行处理的核心组件之一。处理函数负责定义数据流上的数据如何被处理，允许开发人员编写自定义逻辑以执行各种操作，如转换、聚合、筛选、连接等，并在处理后生成输出数据流。
2023-10-20 21:20:26
1274
原创 Flink之输出算子Data Sink
在Apache Flink中，输出算子Data Sink用于将数据流发送到外部系统或存储介质中，如数据库、消息队列、文件系统等。输出算子是数据流处理的最后一步，它决定了数据的最终去向。
2023-10-20 11:39:02
475
原创 Flink之Watermark水印、水位线
在Apache Flink中，Watermark即水印、水位线，它是插入到数据流中的一个标记点，主要内容就是一个时间戳，用来指示当前事件时间。通过使用水位线机制，能够动态地处理乱序事件，并在保证准确性的同时提供低延迟的数据处理。
2023-10-19 19:33:28
1022
原创 Flink之Window窗口机制
在Apache Flink中，窗口是对无界数据流进行有界处理的机制。窗口可以将无限的数据流划分为有限的、可处理的块，使得可以基于这些有限的数据块执行聚合、计算和分析操作。
2023-10-19 19:32:06
1251
原创 Flink之转换算子Transformation
Flink中的转换算子是指对输入数据流进行转换操作的一类算子，它是将一个或多个DataStream转换为新的DataStream
2023-10-16 16:36:01
465
原创 5分钟快速申请一个EDU教育邮箱
每一个开发者都应该有个edu教育邮箱，教育邮箱是一个专门为学生和教育工作者设计的电子邮件账户，由于其特殊的身份认证，它具有一些特点和福利。
2023-10-16 13:22:40
4927
15
原创 Flink之源算子Data Source
在Flink 中，源算子用于从外部系统或数据源获取数据，并将其作为输入流提供给Flink Job。源算子是数据流处理的起点，它通常是整个数据流的第一个算子。
2023-10-15 15:08:41
718
原创 MySQL使用函数、存储过程实现：向数据表快速插入大量测试数据
在MySQL中可以使用函数或者存储过程来快速向数据表插入大量测试数据,以此提高插入速度并减少代码中的重复。
2023-10-13 22:27:46
527
原创 Flink之Flink程序开发过程与Flink常见数据类型
DataStream API是Flink中最主要的API之一，它支持高级的流处理操作，例如窗口计算、状态管理、流分区等，并且在处理大规模数据时表现出色。
2023-10-13 22:27:13
742
原创 配置Hive使用Spark执行引擎
在Hive中，可以通过配置来指定使用不同的执行引擎。Hive执行引擎包括：默认MR、tez、spark。
2023-10-10 23:08:07
2667
1
原创 Flink开发环境搭建与提交运行Flink应用程序
搭建Apache Flink开发环境搭，同时编写Flink应用程序，使用命令行方式与Web UI界面方式提交运行开发的Flink应用程序。
2023-10-10 21:32:05
300
原创 防止非法盗链的几种解决方案
非法盗链指的是在未获得授权的情况下，将别人的资源（如图片、视频等）直接链接到自己的网站上，从而消耗他人的带宽和流量，并影响原始资源的安全性。
2023-09-30 16:39:06
171
原创 Visual Studio Code配置Tomcat运行Java Web项目
使用Visual Studio Code工具配置Tomcat运行Java Web项目,以及配置热部署进行项目开发。
2023-09-26 10:42:19
1412
2
原创 MongoDB之用户与权限管理、备份与恢复管理以及客户端工具的使用
MongoDB是一款灵活且高性能的文档型数据库，具有可扩展性和强大的查询功能，适用于各种应用场景。
2023-09-25 11:41:04
419
原创 Python使用PyMongo4.x操作MongoDB总结
PyMongo是一个Python编程语言中用于连接和操作MongoDB数据库的库。它提供了丰富的功能和API，使开发者能够在Python中轻松地进行MongoDB的数据交互和管理。
2023-09-25 08:34:31
562
2
原创 Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式
Local模式、Standalone模式和FlinkonYARN模式是Flink的三种常见部署模式。
2023-09-22 17:14:42
917
原创 搭建Flink集群、集群HA高可用以及配置历史服务器
本文介绍了如何搭建一个Flink集群、Flink集群HA高可用，并配置历史服务器以记录Job任务执行的详细信息和状态。
2023-09-21 15:22:05
448
原创 uni-app进行小程序隐私协议开发
为规范开发者的用户个人信息处理行为，保障用户合法权益，小程序、插件中涉及处理用户个人信息的开发者，均需补充相应用户隐私保护指引。
2023-09-20 10:27:41
480
原创 Visual Studio Code配置开发Maven项目、Spring Boot项目
在Visual Studio Code中配置Java开发环境，配置开发Maven项目、Spring Boot项目。
2023-09-19 15:11:39
1489
原创 大数据开发中常用组件服务的集群管理脚本整理集合
在大数据开发中，需要对各个组件服务集群进行管理，为了效率和可靠性，可以编写shell脚本来统一管理和维护集群，确保系统的稳定性和可靠性。
2023-09-15 13:46:51
297
原创 企业级镜像仓库Harbor的安装与配置
Harbor是一个开源的容器镜像仓库管理系统，具有丰富的安全和管理功能。它可以在企业环境中搭建私有仓库，并提供可信度、多租户支持、定制性等特点。
2023-09-14 10:54:16
203
原创 解决IntelliJ IDEA执行maven打包，执行java -jar命令提示jar中没有主清单属性
解决IntelliJ IDEA执行maven打包，执行java -jar命令提示jar中没有主清单属性
2023-09-13 10:22:20
1005
原创 Beautiful Soup4数据解析与提取
Beautiful Soup是一个Python的库，用于解析HTML和XML文档，提供了方便的数据提取和操作功能。
2023-09-12 14:13:32
114
原创 web自动化测试工具之Selenium的使用
Selenium是一个功能强大的自动化测试框架，在自动化测试和Web应用开发中具有广泛的应用，能够提高测试效率、确保应用程序的质量，并帮助开发人员在不同环境中构建和调试Web应用程序。
2023-09-11 13:33:38
415
原创 文本识别 (OCR)引擎之Tesseract的使用
Tesseract是一个开源文本识别 (OCR)引擎，是目前公认最优秀、最精确的开源OCR系统，用于识别图片中的文字并将其转换为可编辑的文本。
2023-09-08 09:00:00
751
原创 Anaconda Conda实现Python多环境管理
Conda是Anaconda发行版的核心组件之一，可以用于在同一个机器上安装不同Python版本，可以帮助创建、管理和切换不同的软件环境，以及安装和更新各种软件包和依赖项。
2023-08-23 11:46:53
617
1
原创 JS的解析与Js2Py使用
Js2Py是一个Python库，用于将JavaScript代码转换为Python代码，并在Python环境中执行。它能够实现JavaScript和Python之间的代码共享和交互，使得在Python项目中使用JavaScript代码变得更加便捷。
2023-08-18 10:31:52
172
原创 从源代码编译构建Apach Spark3.2.4
使用官方预编译版本的Spark已经足够满足日常需求。当在特定的场景和需求下，重新编译Spark提供了更大的灵活性和控制权，适用于需要特定功能、定制化配置或对Spark进行扩展的场景。
2023-08-14 10:20:35
150
Java开发手册（嵩山版）.pdf
2023-06-28
Java开发手册（泰山版）.pdf
2023-06-28
flink安装程序，具体版本flink-1.7.0-bin-scala-2.12
2023-06-28
Apache OpenOffice开源办公软件套件
2023-05-16
Bandicam屏幕录制软件
2023-05-06
磁盘空间使用情况分析工具之WizTree
2023-05-06
mysql-5.7.27-1.el7.x86-64.rpm
2023-04-27
skywalking-apm+skywalking-java-agent
2023-04-26
Protocol Buffers - Google的数据交换格式
2023-04-21
Vue.js 核心 相关面试题
2023-02-13
Postman-9.16.0
2022-07-27
apache-tomcat-9.0.65-windows-x64.zip
2022-07-27
apache-tomcat-8.5.81-windows-x64.zip
2022-07-27
apache-tomcat-10.0.23-windows-x64.zip
2022-07-27
适合64位系统的TortoiseSVN对应的中文简体语言包：TortoiseSVN-1.14.3.29387-x64-svn-1
2022-07-22
64位系统的TortoiseSVN-1.14.3.29387-x64-svn-1.14.2
2022-07-22
Java基础核心总结.PDF
2022-06-30
Java核心知识点.PDF
2022-06-30
Java面试手册.PDF
2022-06-30
Windows安装Hive时所需cmd相关命令
2022-05-17
pt-query-digest工具
2020-11-24
Git客户端、TortoiseGit图形化工具、TortoiseGit-LanguagePack语言包
2020-10-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人