G皮T-CSDN博客

原创【LakeHouse】Apache Iceberg + Amoro 助力网易构建云原生湖仓

湖仓一体的发展经历了从数据仓库到数据湖，最终到湖仓一体的过程。传统的数仓针对的是结构化数据，面向特定的分析或者报表场景，提供标准的 SQL 与标准的服务。随着业务规模的扩大，复杂性提升，对于半结构化、非结构化的数据存储和处理的需求涌现，催生了数据湖技术的发展。数据湖是在廉价的存储系统上，使用各种工具，满足各种数据类型的业务需求。这种非标准化的处理带来了管理成本和开发成本的上升。湖仓一体顺应而生，它是基于数据服务技术开发的廉价的系统，同时能够构建结构化数据的处理能力。

2024-05-19 23:10:17 663 1

原创【Spring Boot】分层开发 Web 应用程序（含实例）

Spring Boot 开发 Web 应用程序主要使用 MVC 模式。MVC 是 Model（模型）、View（视图）、Controller（控制器）的简写。

2024-05-19 18:56:56 999

原创【单元测试】如何让单元测试的价值最大化

关于 “什么是单元测试”、“为什么要做单元测试”、“怎么做单元测试”，网络上相关的技术文章汗牛充栋。尽管如此，在推广单元测试的过程，通过与研发同学的交流，我发现大家对单元测试的探讨还是存在薄弱的地方。这个薄弱的地方既不是抽象的单元测试理论，也不是具体的单元测试工具，而是理论与实践结合的单元测试策略。

2024-05-18 22:35:14 770

原创【单元测试】为什么需要单元测试

通过编写和运行单元测试，开发者能够快速验证代码的各个部分是否按照预期工作，有利于保证系统功能的正确可用，这是单元测试的核心作用。

2024-05-18 17:26:14 1004

原创【测试】代码覆盖率工具 JaCoCo

JaCoCo 是面向 Java 的开源代码覆盖率工具，JaCoCo 以 Java 代理模式运行，它负责在运行测试时检测字节码。JaCoCo 会深入研究每个指令，并显示每个测试过程中要执行的行。为了收集覆盖率数据，JaCoCo 使用 ASM 即时进行代码检测，并在此过程中从 JVM Tool Interface 接收事件，最终生成代码覆盖率报告。

2024-05-15 23:32:56 1013

原创【Spring Boot】Spring Boot 中的 Starter

Spring Boot 为了简化配置，提供了非常多的 Starter。它先打包好与常用模块相关的所有 JAR 包，并完成自动配置，然后组装成 Starter（如把 Web 相关的 Spring MVC、容器等打包好后组装成 spring-boot-starter-web）。这使得在开发业务代码时不需要过多关注框架的配置，只需关注业务逻辑即可。

2024-05-12 23:38:31 1169 1

原创【Maven】IDEA 中 Maven 常用操作

当我们使用 IDEA 开发基于 Maven 的项目的时候，会发现右侧有一个 Maven，点开会有一些菜单，今天来介绍一下这些菜单的意思。

2024-05-12 15:48:47 551

原创【云原生】Pod 的生命周期（二）

本篇博客讲述 Pod 的生命周期。 Pod 遵循预定义的生命周期，起始于 Pending 阶段，如果至少其中有一个主要容器正常启动，则进入 Running，之后取决于 Pod 中是否有容器以失败状态结束而进入 Succeeded 或者 Failed 阶段。

2024-05-06 23:08:16 754 1

原创【云原生】Pod 的生命周期（一）

本篇博客讲述 Pod 的生命周期。 Pod 遵循预定义的生命周期，起始于 Pending 阶段，如果至少其中有一个主要容器正常启动，则进入 Running，之后取决于 Pod 中是否有容器以失败状态结束而进入 Succeeded 或者 Failed 阶段。

2024-05-06 23:06:25 961

原创【云原生】Docker 的网络通信

Docker 的容器运行在宿主机的虚拟机上。这些虚拟机彼此独立，彼此之间没有任何接口，即容器彼此之间是逻辑隔离的。那么，如何实现容器的相互通信呢？容器又如何访问外部的网络呢？外部的网络如何才能访问部署在容器内的应用呢？本篇博客将带领大家了解这些问题。

2024-05-04 18:47:55 1842 1

原创【归因分析】网易云音乐用户行为归因数据体系建设

云音乐的数据接入包括客户端日志、服务端日志、算法标签以及业务库的数据。数仓核心资产的建设采用标准的 DIM-DWD-DWS 层次架构。首先对客户端日志、服务端日志进行整合，构建统一的公共流量模型和异常数据清洗机制，随后将流量数据细分为不同流量场景和流量事件的 DWD 层；基于算法标签构建 oneID、oneIP 等新资产的 DWD 层；基于业务库接入业务事件构成 DWD 层。

2024-05-03 21:11:56 699

原创【云原生】Docker 实践（五）：搭建私有镜像 Harbor

Harbor是由 VMware 公司开发并开源的企业级的 Docker 镜像仓库的管理项目，它包括镜像的权限管理（RBAC）、目录访问（LDAP）、日志审核、管理界面、自我注册、镜像复制和中文支持等功能。

2024-05-03 10:22:48 1540 6

原创【Spring Boot】Spring Boot 的常用注解

注解（annotations）用来定义一个类、属性或一些方法，以便程序能被编译处理。它相当于一个说明文件，告诉应用程序某个被注解的类或属性是什么，要怎么处理。注解可以用于标注包、方法和变量等。

2024-05-02 20:16:29 1499 1

原创【LDAP】LDAP 和 AD 介绍及使用 LDAP 操作 AD 域

LDAP 也可以说成是一种数据库，也有 Client 端和 Server 端。Server 端是用来存放数据，Client 端用于操作增删改查等操作，通常说的 LDAP 是指运行这个数据库的服务器。只不过，LDAP 数据库结构为树结构，数据存储在叶子节点上。

2024-05-02 12:43:49 988 1

原创【大数据】利用 Apache Ranger 管理 Amazon EMR 中的数据权限

系统安全通常包括两个核心主题：身份验证和授权。一个解决 “用户是谁” 的问题，另一个解决 “用户允许执行什么操作” 的问题。在大数据领域，Apache Ranger 是最受欢迎的授权选择之一，它支持所有主流大数据组件，包括 HDFS、 Hive、HBase、 Trino 等组件。

2024-05-01 18:09:43 1214 3

原创【云原生】Docker 实践（四）：使用 Dockerfile 文件的综合案例

下面将从一个 CentOS 的基础镜像开始，安装 JDK 和 Tomcat 环境，并完成一个 Web 应用的部署。整个过程通过一个 Dockerfile 文件来描述。通过 Dockerfile 文件来构建一个镜像，并创建一个容器来运行 Web 应用。

2024-05-01 00:21:06 956 2

原创【云原生】Docker 实践（三）：使用 Dockerfile 文件构建镜像

Dockerfile 文件可以使用 docker build 命令进行编译。在编译过程中，每一条指令的内容描述了该层应如何进行构建。当我们需要指定自己额外的需求时，只需在 Dockerfile 文件的基础上添加或者修改指令，重新生成新的镜像即可。

2024-04-27 19:12:41 1749 3

原创【云原生】Docker 实践（二）：什么是 Docker 的镜像

Docker 的镜像是一个模板,或者说其是一个只读文件。在该模板中包含应用和应用运行时所需要的依赖环境。Docker 的镜像采用的是分层的文件系统，每一次对镜像的修改将以读写层的形式增加到原来的只读文件的模板上。

2024-04-27 17:40:57 1272

原创【云原生】Docker 实践（一）：在 Docker 中部署第一个应用

在成功安装 Docker 后，就可以通过镜像来创建容器，从而运用。本文将演示如何在 Docker 中，通过使用 Nginx 镜像来部署第一个应用，并在浏览器访问它。

2024-04-26 23:58:41 2209 3

原创【Flink】Apache Flink 1.16 版本特性

Apache Flink 持续保持高速发展，是 Apache 最活跃的社区之一。Flink 1.16 共有 240 多个 Contributor 热情参与，共完成了 19 个 FLIP 和 1100 多个 issue，给社区带来非常多振奋人心的功能。

2024-04-22 23:49:21 1182

原创【Kyuubi】Apache Kyuubi 1.8 特性解读

Apache Kyuubi 是一个构建在 Spark、Flink、Trino 等计算引擎之上的，分布式、多租户的企业级大数据网关，致力于在 Lakehouse 之上提供 Serverless SQL 服务。Kyuubi 支持多种类型的工作负载。典型的使用场景包括：用户可以使用 JDBC / BeeLine 以及各种 BI 工具，连接 Kyuubi 进行交互式的数据分析；使用 RESRful API 向 Kyuubi 提交 SQL / Python / Scala / Jar 批作业。

2024-04-21 17:46:31 1400 1

原创【Elasticsearch】Elasticsearch 从入门到精通（二）：基础使用

Elasticsearch 是一个基于 Apache Lucene 的开源搜索引擎。无论在开源还是专有领域，Lucene 可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。

2024-04-20 17:00:41 1395 1

原创【Elasticsearch】Elasticsearch 从入门到精通（一）：基本介绍

Elasticsearch 是一个基于 Apache Lucene 的开源搜索引擎。无论在开源还是专有领域，Lucene 可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。

2024-04-20 12:57:38 1248 1

原创【云计算】云数据中心网络（七）：负载均衡

负载均衡（Server Load Balancer，SLB）是一种对流量进行按需分发的服务，通过将流量分发到不同的后端服务来扩展应用系统的服务吞吐能力，可以消除系统中的单点故障，提升应用系统的可用性。

2024-04-19 22:21:04 1991 1

原创【云计算】云数据中心网络（六）：私网连接

私网连接为云上服务的交互提供了一种全新的方式，类似云服务总线，既可以帮助用户更加方便安全地访问云上的服务，也可以帮助用户更加方便地构建服务化的云上网络。更重要的是，私网连接为企业 SaaS 服务生态的发展打开了一扇新的大门，让服务提供商能够以一种全新的方式为云上客户提供更加安全的服务访问。

2024-04-17 22:00:34 1754

原创【云计算】云数据中心网络（五）：对等连接

VPC 解决了租户之间网络环境严格隔离的问题，不同 VPC 之间默认不能通信。但有的用户有两三个 VPC，希望这些 VPC 内的实例可以通过私网互通。这种少量 VPC 互通的需求可以通过对等连接实现。

2024-04-17 13:01:09 1183

原创【云计算】云数据中心网络（四）：IPv6 网关

2017 年，中国推出了 IPv6 规模部署计划。云网络对 IPv6 的支持是一个系统工程，包括内网通信支持 IPv6，如 VPC 支持 IPv6、CEN 支持 IPv6、高速通道支持 IPv6 等，用户可以在云上建立纯 IPv6 通信网络。此外，还包括公网通信支持 IPv6，如 SLB 支持 IPv6、IPv6 网关等。云网络还为其他产品提供了 IPv6 支持，如 CDN、安全、数据库等，用户可以基于云构建完整的 IPv6 网络。下面重点介绍 IPv6 网关。

2024-04-16 22:11:54 638

原创【云计算】云数据中心网络（三）：NAT 网关

因此，绝大多数用户都需要一个能隐藏内部服务器真实 IP 地址的网关设备，借助该设备与公网通信。在云网络。我们提供了一个即开即用的IP地址转换网关设备 —— NAT 网关。用户只需要在控制台上点点鼠标，就能即时交付企业级的 NAT 网关。

2024-04-16 12:37:11 1425

原创【云计算】混合云组成、应用场景、风险挑战

通常私有云在时间维度的快照备份上非常充分，但由于私有云的地域局限性，其在数据物理地域安全性方面存在明显缺陷。然而，这却是公有云的强项，因为公有云地域机房在选址上考虑得比较周全，都会避开自然灾害（如火山、地震、洪水等）易发地。所以，公有云异地备份就成为企业数据安全的首选应用。

2024-04-16 12:36:23 1271 1

原创【云计算】安全组和网络ACL的区别

综上，ACL 和安全组都是用于网络安全的重要工具，但它们的设计和应用场景略有不同。通常情况下，安全组更适合在云计算环境中实现细粒度的访问控制，而 ACL 更适合在较大范围内实施简单的网络安全策略。

2024-04-15 23:54:41 765

原创【大数据】Apache Knox 概述

总之，Apache Knox 是一个强大的工具，具有 Apache Ranger 审核功能，可以过滤和审核对您环境的所有访问。但它也允许您通过配置的方式作为您的各种个性化服务面前的经典网关。例如，您可以在没有 Kerberos 身份验证的 REST API 前面添加它。

2024-04-15 12:39:02 1406

原创【云计算】混合云分类

同构公有云的各个地域混合是比较容易的，各大公有云厂商都支持 VPC 之间互联。以阿里云为例，其可在用户的不同地域的 VPC 之间、VPC 和 IDC 之间搭建私有通信通道，即让用户的不同地域的 VPC 之间或者用户的 IDC 与其他地域的 VPC 之间互联。由于地域云平台是一致的，所以这种混合云架构是各公有云厂商都支持的，是天然的，没有技术问题。

2024-04-15 12:38:19 1041

原创【云计算】混合云概述

混合云是近几年来被经常提及的一个新的云架构体系，根据 NIST（美国国家标准与技术研究院）的定义，混合云（hybrid cloud）是由两个或两个以上的云（私有云、社区云或公有云）组成的，它们各自独立，但通过标准化技术或专有技术绑定在一起，云之间实现了数据和应用程序的可移植性。

2024-04-14 16:24:36 1267 1

原创【云计算】云数据中心网络（二）：弹性公网 IP

云面向大众提供各种各样的、随时可获取的云服务，包括各种计算、存储、数据库服务，也包括人脸识别、人工智能服务。互联网是连接用户和云服务的媒介，弹性公网 IP 就是这个媒介产品化的形态。

2024-04-14 15:31:09 750

原创【云计算】云数据中心网络（一）：VPC

PC 初期主要解决两个核心问题：一是多租户网络隔离问题，二是随之带来的用户从 VPC 内访问众多云服务的问题。随着越来越多的企业用户上云，企业级网络的需求越来越多，VPC 要解决的问题也包括帮助企业更平滑地上云，让企业在线下 IDC（Internet Data Center，互联网数据中心）里的网络架构、运维管理体系能平滑地迁移到云上。

2024-04-06 13:55:12 1317

原创【云计算】云网络产品体系概述

云网络的底层是全球网络基础设施，其上是飞天洛神云网络平台，再上一层是云数据中心网络、跨地域网络和混合云网络三大产品体系，之上是云网络的智能网络和开放网络，分别通过网络分析平台和网络开放平台承载。最上层是云网络解决方案，包括通用网络解决方案和行业网络解决方案。

2024-04-05 21:59:28 533

原创【云计算】云网络是未来的网络基础设施

到底什么是云网络？它和传统的网络有什么不同？当云计算把分散在各企业的算力与存储资源集中起来，并向企业、分支、IoT终端、家庭、个人移动端传输数据时，基于云连接构建的云网络就是一个面向企业租户和应用的虚拟网络。云网络基于数字经济的云平台，建立面向计算、存储、终端、应用的连接。

2024-04-05 18:10:40 1268

原创【Kubernetes】K8s 中的 Pod 驱逐

抢占是这样一个过程：如果一个新的 Pod 需要被调度，但是没有任何合适的节点拥有足够的资源，那么 kube-scheduler 将通过驱逐终止一些优先级较低的 Pod 来检查新的 Pod 是否可以成为那个节点的一部分。

2024-03-30 18:37:54 1169

原创【Java】打包：JAR、EAR、WAR

当你的项目在没有完全竣工的时候，不适合使用 war 文件，因为你的类会由于调试之类的经常改，这样来回删除、创建 war 文件很不爽，最好是你的项目已经完成了，不改了，那么就打个 war 包吧，这个时候一个 war 文件就相当于一个 web 应用程序了；而 jar 文件就是把类和一些相关的资源封装到一个包中，便于程序中引用。

2024-03-30 00:50:23 937

原创【Flink】WaterMark 实战

WaterMark 只是决定了窗口的触发时机，并非可以改变元素归属的窗口（事件应归属的窗口是由事件本身的事件时间决定的），例如上方元素 C、G，虽然根据设置的延迟时间可能触发窗口 [12:00:00-12:00:10) 计算，但其本身时间不归属于窗口之内，因为窗口 [12:00:00-12:00:10) 中永远不会有 >= 12:00:10 的元素存在。

2024-03-24 15:31:14 752

空空如也

空空如也