- 博客(197)
- 资源 (20)
- 收藏
- 关注
RSS订阅原创 FLINK 合流
在Apache Flink中，合流（Co-streaming）是指将两条或多条数据流合并成一条数据流的操作。这种操作在实际应用中非常普遍，特别是在需要联合处理来自不同源头的数据时。Flink提供了多种合流方式，以满足不同的数据处理需求。
2024-10-25 14:39:33
717
原创 FLINK 分流
在Apache Flink中，分流（Stream Splitting）是指将一条数据流拆分成完全独立的两条或多条流的过程。这通常基于一定的筛选条件，将符合条件的数据拣选出来并放入对应的流中。
2024-10-25 14:17:53
786
原创 虚拟机Libvirt配置文件详解
这段XML定义了一个虚拟机（VM）的配置，使用的是Hypervisor Framework（HVF）类型，但值得注意的是，实际上并不是QEMU或libvirt中标准的Hypervisor类型（如KVM、Xen等）。综上所述，这段XML定义了一个名为hvf-demo的虚拟机，配置了1个vCPU、128MB内存，运行x86_64架构的HVM操作系统，通过QEMU模拟器，使用virtio-scsi控制器和qcow2格式的磁盘，以及VNC图形界面和用户模式网络接口。
2024-10-25 08:56:34
177
原创 SAAM非功能质量属性的架构分析方法
SAAM是由卡耐基梅隆大学软件工程研究所（SEI at CMU）的Kazman等人提出的一种体系结构分析方法。它是最早形成文档并得到广泛使用的软件体系结构分析方法之一，主要用于评估软件体系结构的质量属性，如可修改性、性能、可用性、安全性等。
2024-10-24 18:01:08
378
原创 软件架构复用的类型
软件架构复用是指在开发新的软件系统时，重复利用已有的、经过验证的软件架构，以提高开发效率、降低风险、保持一致性，并促进软件系统的模块化和标准化。
2024-10-24 17:30:36
280
原创 docker 镜像详解
镜像本质上是一个只读文件，包含了文件系统、源码、库文件、依赖、工具等运行应用程序所必须的文件。它可以被理解为一个模板，通过这个模板可以实例化出很多容器。每个容器都是镜像的一个运行实例，包含了运行应用程序所需的所有内容，如代码、运行时环境、系统工具和库。具体来说，容器镜像通常是由多层文件系统叠加而成的，每一层都包含了一些特定的文件或配置。这些层是联合文件系统（Union File System）的一部分，它们可以被组合在一起以形成一个完整的镜像。
2024-10-24 14:36:09
886
原创 libvirt 基本命令行
libvirt是一个用于管理虚拟化技术的开源API、守护进程和管理工具的集合，它支持多种虚拟化技术，包括KVM、Xen、QEMU等。libvirt提供了一套基本的命令行工具，其中最常用的是virsh。
2024-10-23 08:57:09
304
原创 OpenSwitch 详解
OpenSwitch是一个由惠普公司（HP）发起的开源网络操作系统项目，旨在为数据中心提供高性能、灵活且可靠的操作系统解决方案。
2024-10-23 08:48:45
1168
原创 Linux LVS 通用命令行
LVS（Linux Virtual Server）是一种基于Linux操作系统的负载均衡技术，它通过网络负载均衡技术将客户端请求分发到多台实际服务器上，以提高系统的性能和可靠性。在LVS中，常用的命令行工具主要是ipvsadm，以及一些相关的辅助命令和参数。
2024-10-22 16:19:43
676
原创 Linux LVS详解
LVS项目由章文嵩博士在1998年5月发起，是中国国内最早出现的自由软件项目之一。LVS现在是Linux标准内核的一部分，提供了一个可靠的、高可用的解决方案，用于将来自客户端的请求分发到多个后端服务器，以实现负载均衡和高可用性。
2024-10-22 15:50:03
949
原创 Dockerfile 详解
Dockerfile是一个文本文件，包含了一系列用于自动化构建Docker镜像的指令。通过Dockerfile，我们可以定义镜像中所包含的操作系统、软件、配置文件等内容。
2024-10-22 09:44:44
1317
原创 JAVA IDEA 取消掉Warning:(22, 14) Class ‘XXXController‘ is never used 提示信息
Warning:(22, 14) Class 'XXXController' is never used 提示信息
2024-10-21 08:35:24
366
原创 AI 代码自动写代码插件
豆包MarsCode是一款基于豆包大模型的智能开发工具，由字节跳动公司推出，并于2024年6月26日正式发布，面向国内开发者免费开放。
2024-10-18 18:14:18
137
原创 Flink Kubernetes Operator
Flink Kubernetes Operator是一个用于在Kubernetes集群上管理Apache Flink应用的工具。
2024-10-17 16:21:37
1212
原创 大数据治理
大数据治理是指充分运用大数据、云计算、人工智能等先进技术，实现治理手段的智能化。它不仅仅是对大数据的管理，更是一种全面的数据战略，涵盖了数据的获取、处理、存储、安全等各个环节。
2024-10-14 18:26:31
471
原创 FLINK SQL 元数据持久化扩展
JdbcCatalog是Flink SQL提供的一种External Catalog，它使得Flink能够直接查询和操作关系型数据库（如MySQL、PostgreSQL等）中的元数据。通过JdbcCatalog，Flink可以无缝地集成到现有的数据库环境中，利用数据库的元数据管理能力来优化数据处理流程。HiveCatalog是Flink提供的一种External Catalog，它基于Hive的元数据管理机制，使得Flink能够直接查询和操作Hive中的元数据。
2024-10-14 16:36:21
1132
原创 FLINK SQL UDF Module
虽然Flink没有直接的“Module”接口供用户实现来封装UDF，但你可以通过创建一个包含UDF注册逻辑的类来模拟这种效果。这个类可以在Flink启动时通过配置或编程方式被加载，并自动注册UDF。然而，在Flink的当前版本中，更常见的方法是使用Flink的Table API来动态注册UDF，而不是通过创建一个完整的“Module”系统。
2024-10-14 16:20:41
920
原创 FLINK SQL UDF
在Flink SQL中，UDF（User-Defined Function，用户自定义函数）是一种扩展Flink SQL处理能力的机制。通过UDF，用户可以编写自定义的Java或Scala代码，以处理Flink SQL无法直接支持的数据处理逻辑。
2024-10-14 15:53:41
1084
原创 FLINK SQL语法(2)
Regular Joins，即常规连接，是Flink中最通用的连接类型。在这种连接下，连接两侧表的任何新记录或变更都是可见的，并会影响整个连接的结果。例如，如果左侧有一条新记录，在连接条件满足的情况下，它将和右侧表的之前和之后的所有记录进行连接。Interval Joins连接两个数据流（或表），并基于相同的关键字（Key）以及一个相对时间区间来进行匹配。这个时间区间由用户指定，包括一个下界（lowerBound）和一个上界（upperBound）。
2024-10-14 11:50:56
884
原创 FLINK SQL语法(1)
Flink SQL Connector是一种用于在Flink SQL与外部数据源或数据汇之间建立连接的插件。它允许Flink SQL从外部数据源读取数据，并将处理后的数据写入到外部数据汇中。通过Connector，Flink SQL能够轻松实现对各种类型数据的实时处理和分析。在某些特殊情况下，用户可能需要自定义Connector来满足特定的需求。Flink提供了丰富的API和工具来支持用户自定义Connector。自定义Connector通常涉及以下几个步骤：1.定义Connector的工厂类。
2024-10-14 10:36:17
1465
原创 Springmvc Thymeleaf 标签
Thymeleaf是一个适用于Java的模板引擎，它允许开发者将动态内容嵌入到HTML页面中。在SpringMVC框架中，Thymeleaf可以作为一个视图解析器，使得开发者能够轻松地创建动态网页。
2024-10-12 15:13:31
732
原创 FLINK SQL时区问题
接下来，需要定义数据源，并指定如何从数据中提取事件时间戳。这通常通过实现TimestampAssigner接口或使用Flink提供的便捷类来完成。// 数据源// 解析JSON并创建MyEvent对象// ...})@Override// 从MyEvent对象中提取时间戳});定义一个数据源，该数据源产生包含传感器值和到达时间戳的流数据。在Flink中，这通常通过实现SourceFunction接口或使用Flink提供的连接器（如Kafka连接器）来完成。
2024-10-12 13:38:08
1233
原创 FLINK SQL时间属性
在Flink SQL中，时间属性是一个核心概念，它主要用于处理与时间相关的数据流。Flink支持三种时间属性：事件时间（event time）、处理时间（processing time）和摄入时间（ingestion time）。
2024-10-12 11:38:46
1382
原创 FLINK SQL动态表&连续查询
使用Flink支持的连接器（如Kafka、JDBC、HDFS等）来配置数据源。这些连接器允许Flink从外部系统读取数据，并将其转换为Flink内部的数据流。在Flink SQL中，使用CREATE TABLE语句来定义动态表。动态表是对数据流的一个连续视图，能够反映数据流的最新状态。
2024-10-11 09:25:25
1401
原创 FLINK SQL数据类型
Flink SQL也支持用户自定义数据类型，用户可以根据自己的需求定义复杂的数据结构，并通过实现相应的接口或类来注册这些自定义类型。1、定义与用途用户自定义数据类型通常用于处理那些无法直接通过Flink内置数据类型表示的数据。例如，当需要处理一个包含多个字段的复杂数据结构时，就可以定义一个包含这些字段的用户自定义数据类型。2、实现方式定义数据类型：首先，需要定义一个Java或Scala类来表示用户自定义数据类型。
2024-10-10 18:14:46
1282
1
原创 FLINK SQL&Table API 的基本概念及常用API
首先，需要定义数据源source_table和数据输出目标result_table。这里假设source_table是一个Kafka数据源，而result_table是一个文件系统上的CSV文件。-- 定义数据源) WITH (-- 定义输出目标) WITH (
2024-10-10 17:55:32
1302
原创 前端 NPM
例如，要将npm的仓库地址设置为私有仓库，可以在~/.npmrc文件中添加registry=http://your-private-registry-url，或者使用npm config set registry http://your-private-registry-url命令。此外，npm还提供了许多其他有用的命令和功能，如npm init用于创建一个新的Node.js项目并生成package.json文件，npm run用于运行package.json中定义的脚本等。
2024-10-10 09:36:05
1420
原创 FLINK SQL&Table API 简介及运行环境
Flink本身是批流统一的处理框架，所以Flink SQL和Table API是批流统一的上层处理API。目前，这两套API仍处于活跃的开发阶段，功能尚未完全完善。
2024-10-09 13:58:08
995
原创 FLINK SQL
简介运行环境集成UDF基类实现UDF执行逻辑函数注意UDF入参、出参类型推导明确UDF输出结果是否是定值巧妙运用运行时上下文。
2024-10-08 18:18:21
1504
1
原创 云计算Openstack Horizon
OpenStack是一个开源的云计算平台，提供了构建和管理云计算环境所需的软件工具。而Horizon则是OpenStack的一个关键组件，它是基于Web的用户界面，为用户提供了一种直观、便捷的方式来管理和使用OpenStack资源。
2024-10-08 09:01:24
1271
原创 Pgsql 数据库操作
pgsql，即PostgreSQL，是一种功能强大的开源对象关系数据库系统。它使用并扩展了SQL语言，使其能够存储复杂的数据结构和执行强大的查询。
2024-09-30 10:04:54
1007
原创 云计算Openstack Glance
OpenStack Glance（或称为Glance，但通常OpenStack官方文档中使用的是“Glance”作为项目代号）是OpenStack的镜像服务组件，为创建虚拟机提供镜像服务。
2024-09-30 08:16:19
1644
原创 云计算Openstack Keystone
OpenStack Keystone是OpenStack平台中的一个核心组件，主要负责身份认证和授权管理服务。
2024-09-29 18:43:20
1940
原创 云计算Openstack Neutron
Neutron Agent是Neutron网络架构中的执行层，它接收来自Neutron Server或Neutron Plugin的请求，并在网络设备上执行相应的网络操作。Neutron Agent通过Messaging Queue（如RabbitMQ）与Neutron Server进行通信，确保网络状态的同步和更新。Neutron Agent是OpenStack Neutron网络架构中的关键组件，它通过执行各种网络操作来支持虚拟网络的创建和管理。
2024-09-29 15:43:24
2213
mfc 类库详细 VC good
2009-05-14
数据库编程 VC
2009-05-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人