- 博客(197)
- 资源 (20)
- 收藏
- 关注
原创 FLINK 合流
在Apache Flink中,合流(Co-streaming)是指将两条或多条数据流合并成一条数据流的操作。这种操作在实际应用中非常普遍,特别是在需要联合处理来自不同源头的数据时。Flink提供了多种合流方式,以满足不同的数据处理需求。
2024-10-25 14:39:33 717
原创 FLINK 分流
在Apache Flink中,分流(Stream Splitting)是指将一条数据流拆分成完全独立的两条或多条流的过程。这通常基于一定的筛选条件,将符合条件的数据拣选出来并放入对应的流中。
2024-10-25 14:17:53 786
原创 虚拟机Libvirt配置文件详解
这段XML定义了一个虚拟机(VM)的配置,使用的是Hypervisor Framework(HVF)类型,但值得注意的是,实际上并不是QEMU或libvirt中标准的Hypervisor类型(如KVM、Xen等)。综上所述,这段XML定义了一个名为hvf-demo的虚拟机,配置了1个vCPU、128MB内存,运行x86_64架构的HVM操作系统,通过QEMU模拟器,使用virtio-scsi控制器和qcow2格式的磁盘,以及VNC图形界面和用户模式网络接口。
2024-10-25 08:56:34 177
原创 SAAM非功能质量属性的架构分析方法
SAAM是由卡耐基梅隆大学软件工程研究所(SEI at CMU)的Kazman等人提出的一种体系结构分析方法。它是最早形成文档并得到广泛使用的软件体系结构分析方法之一,主要用于评估软件体系结构的质量属性,如可修改性、性能、可用性、安全性等。
2024-10-24 18:01:08 378
原创 软件架构复用的类型
软件架构复用是指在开发新的软件系统时,重复利用已有的、经过验证的软件架构,以提高开发效率、降低风险、保持一致性,并促进软件系统的模块化和标准化。
2024-10-24 17:30:36 280
原创 docker 镜像详解
镜像本质上是一个只读文件,包含了文件系统、源码、库文件、依赖、工具等运行应用程序所必须的文件。它可以被理解为一个模板,通过这个模板可以实例化出很多容器。每个容器都是镜像的一个运行实例,包含了运行应用程序所需的所有内容,如代码、运行时环境、系统工具和库。具体来说,容器镜像通常是由多层文件系统叠加而成的,每一层都包含了一些特定的文件或配置。这些层是联合文件系统(Union File System)的一部分,它们可以被组合在一起以形成一个完整的镜像。
2024-10-24 14:36:09 886
原创 libvirt 基本命令行
libvirt是一个用于管理虚拟化技术的开源API、守护进程和管理工具的集合,它支持多种虚拟化技术,包括KVM、Xen、QEMU等。libvirt提供了一套基本的命令行工具,其中最常用的是virsh。
2024-10-23 08:57:09 304
原创 OpenSwitch 详解
OpenSwitch是一个由惠普公司(HP)发起的开源网络操作系统项目,旨在为数据中心提供高性能、灵活且可靠的操作系统解决方案。
2024-10-23 08:48:45 1168
原创 Linux LVS 通用命令行
LVS(Linux Virtual Server)是一种基于Linux操作系统的负载均衡技术,它通过网络负载均衡技术将客户端请求分发到多台实际服务器上,以提高系统的性能和可靠性。在LVS中,常用的命令行工具主要是ipvsadm,以及一些相关的辅助命令和参数。
2024-10-22 16:19:43 676
原创 Linux LVS详解
LVS项目由章文嵩博士在1998年5月发起,是中国国内最早出现的自由软件项目之一。LVS现在是Linux标准内核的一部分,提供了一个可靠的、高可用的解决方案,用于将来自客户端的请求分发到多个后端服务器,以实现负载均衡和高可用性。
2024-10-22 15:50:03 949
原创 Dockerfile 详解
Dockerfile是一个文本文件,包含了一系列用于自动化构建Docker镜像的指令。通过Dockerfile,我们可以定义镜像中所包含的操作系统、软件、配置文件等内容。
2024-10-22 09:44:44 1317
原创 JAVA IDEA 取消掉Warning:(22, 14) Class ‘XXXController‘ is never used 提示信息
Warning:(22, 14) Class 'XXXController' is never used 提示信息
2024-10-21 08:35:24 366
原创 AI 代码自动写代码插件
豆包MarsCode是一款基于豆包大模型的智能开发工具,由字节跳动公司推出,并于2024年6月26日正式发布,面向国内开发者免费开放。
2024-10-18 18:14:18 137
原创 Flink Kubernetes Operator
Flink Kubernetes Operator是一个用于在Kubernetes集群上管理Apache Flink应用的工具。
2024-10-17 16:21:37 1212
原创 大数据治理
大数据治理是指充分运用大数据、云计算、人工智能等先进技术,实现治理手段的智能化。它不仅仅是对大数据的管理,更是一种全面的数据战略,涵盖了数据的获取、处理、存储、安全等各个环节。
2024-10-14 18:26:31 471
原创 FLINK SQL 元数据持久化扩展
JdbcCatalog是Flink SQL提供的一种External Catalog,它使得Flink能够直接查询和操作关系型数据库(如MySQL、PostgreSQL等)中的元数据。通过JdbcCatalog,Flink可以无缝地集成到现有的数据库环境中,利用数据库的元数据管理能力来优化数据处理流程。HiveCatalog是Flink提供的一种External Catalog,它基于Hive的元数据管理机制,使得Flink能够直接查询和操作Hive中的元数据。
2024-10-14 16:36:21 1132
原创 FLINK SQL UDF Module
虽然Flink没有直接的“Module”接口供用户实现来封装UDF,但你可以通过创建一个包含UDF注册逻辑的类来模拟这种效果。这个类可以在Flink启动时通过配置或编程方式被加载,并自动注册UDF。然而,在Flink的当前版本中,更常见的方法是使用Flink的Table API来动态注册UDF,而不是通过创建一个完整的“Module”系统。
2024-10-14 16:20:41 920
原创 FLINK SQL UDF
在Flink SQL中,UDF(User-Defined Function,用户自定义函数)是一种扩展Flink SQL处理能力的机制。通过UDF,用户可以编写自定义的Java或Scala代码,以处理Flink SQL无法直接支持的数据处理逻辑。
2024-10-14 15:53:41 1084
原创 FLINK SQL语法(2)
Regular Joins,即常规连接,是Flink中最通用的连接类型。在这种连接下,连接两侧表的任何新记录或变更都是可见的,并会影响整个连接的结果。例如,如果左侧有一条新记录,在连接条件满足的情况下,它将和右侧表的之前和之后的所有记录进行连接。Interval Joins连接两个数据流(或表),并基于相同的关键字(Key)以及一个相对时间区间来进行匹配。这个时间区间由用户指定,包括一个下界(lowerBound)和一个上界(upperBound)。
2024-10-14 11:50:56 884
原创 FLINK SQL语法(1)
Flink SQL Connector是一种用于在Flink SQL与外部数据源或数据汇之间建立连接的插件。它允许Flink SQL从外部数据源读取数据,并将处理后的数据写入到外部数据汇中。通过Connector,Flink SQL能够轻松实现对各种类型数据的实时处理和分析。在某些特殊情况下,用户可能需要自定义Connector来满足特定的需求。Flink提供了丰富的API和工具来支持用户自定义Connector。自定义Connector通常涉及以下几个步骤:1.定义Connector的工厂类。
2024-10-14 10:36:17 1465
原创 Springmvc Thymeleaf 标签
Thymeleaf是一个适用于Java的模板引擎,它允许开发者将动态内容嵌入到HTML页面中。在SpringMVC框架中,Thymeleaf可以作为一个视图解析器,使得开发者能够轻松地创建动态网页。
2024-10-12 15:13:31 732
原创 FLINK SQL时区问题
接下来,需要定义数据源,并指定如何从数据中提取事件时间戳。这通常通过实现TimestampAssigner接口或使用Flink提供的便捷类来完成。// 数据源// 解析JSON并创建MyEvent对象// ...})@Override// 从MyEvent对象中提取时间戳});定义一个数据源,该数据源产生包含传感器值和到达时间戳的流数据。在Flink中,这通常通过实现SourceFunction接口或使用Flink提供的连接器(如Kafka连接器)来完成。
2024-10-12 13:38:08 1233
原创 FLINK SQL时间属性
在Flink SQL中,时间属性是一个核心概念,它主要用于处理与时间相关的数据流。Flink支持三种时间属性:事件时间(event time)、处理时间(processing time)和摄入时间(ingestion time)。
2024-10-12 11:38:46 1382
原创 FLINK SQL动态表&连续查询
使用Flink支持的连接器(如Kafka、JDBC、HDFS等)来配置数据源。这些连接器允许Flink从外部系统读取数据,并将其转换为Flink内部的数据流。在Flink SQL中,使用CREATE TABLE语句来定义动态表。动态表是对数据流的一个连续视图,能够反映数据流的最新状态。
2024-10-11 09:25:25 1401
原创 FLINK SQL数据类型
Flink SQL也支持用户自定义数据类型,用户可以根据自己的需求定义复杂的数据结构,并通过实现相应的接口或类来注册这些自定义类型。1、定义与用途用户自定义数据类型通常用于处理那些无法直接通过Flink内置数据类型表示的数据。例如,当需要处理一个包含多个字段的复杂数据结构时,就可以定义一个包含这些字段的用户自定义数据类型。2、实现方式定义数据类型:首先,需要定义一个Java或Scala类来表示用户自定义数据类型。
2024-10-10 18:14:46 1282 1
原创 FLINK SQL&Table API 的基本概念及常用API
首先,需要定义数据源source_table和数据输出目标result_table。这里假设source_table是一个Kafka数据源,而result_table是一个文件系统上的CSV文件。-- 定义数据源) WITH (-- 定义输出目标) WITH (
2024-10-10 17:55:32 1302
原创 前端 NPM
例如,要将npm的仓库地址设置为私有仓库,可以在~/.npmrc文件中添加registry=http://your-private-registry-url,或者使用npm config set registry http://your-private-registry-url命令。此外,npm还提供了许多其他有用的命令和功能,如npm init用于创建一个新的Node.js项目并生成package.json文件,npm run用于运行package.json中定义的脚本等。
2024-10-10 09:36:05 1420
原创 FLINK SQL&Table API 简介及运行环境
Flink本身是批流统一的处理框架,所以Flink SQL和Table API是批流统一的上层处理API。目前,这两套API仍处于活跃的开发阶段,功能尚未完全完善。
2024-10-09 13:58:08 995
原创 FLINK SQL
简介运行环境集成UDF基类实现UDF执行逻辑函数注意UDF入参、出参类型推导明确UDF输出结果是否是定值巧妙运用运行时上下文。
2024-10-08 18:18:21 1504 1
原创 云计算Openstack Horizon
OpenStack是一个开源的云计算平台,提供了构建和管理云计算环境所需的软件工具。而Horizon则是OpenStack的一个关键组件,它是基于Web的用户界面,为用户提供了一种直观、便捷的方式来管理和使用OpenStack资源。
2024-10-08 09:01:24 1271
原创 Pgsql 数据库操作
pgsql,即PostgreSQL,是一种功能强大的开源对象关系数据库系统。它使用并扩展了SQL语言,使其能够存储复杂的数据结构和执行强大的查询。
2024-09-30 10:04:54 1007
原创 云计算Openstack Glance
OpenStack Glance(或称为Glance,但通常OpenStack官方文档中使用的是“Glance”作为项目代号)是OpenStack的镜像服务组件,为创建虚拟机提供镜像服务。
2024-09-30 08:16:19 1644
原创 云计算Openstack Keystone
OpenStack Keystone是OpenStack平台中的一个核心组件,主要负责身份认证和授权管理服务。
2024-09-29 18:43:20 1940
原创 云计算Openstack Neutron
Neutron Agent是Neutron网络架构中的执行层,它接收来自Neutron Server或Neutron Plugin的请求,并在网络设备上执行相应的网络操作。Neutron Agent通过Messaging Queue(如RabbitMQ)与Neutron Server进行通信,确保网络状态的同步和更新。Neutron Agent是OpenStack Neutron网络架构中的关键组件,它通过执行各种网络操作来支持虚拟网络的创建和管理。
2024-09-29 15:43:24 2213
mfc 类库详细 VC good
2009-05-14
数据库编程 VC
2009-05-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人