houzhizhen的专栏

StarRocks 是 MPP 的查询引擎，用来做实时查询，提供亚秒级的查询性能。兼容 MYSQL 协议，可以和大部分 BI 工具进行无缝衔接。Apache 2.0 开源产品。

例如，从ODS层中对用户的行为做一个初步的归类汇总，抽象出来一些通用的维度，假设维度为时间、IP、ID，并根据这些维度统计出相关数据，比如用户每个时间段在不同登录IP购买的商品数。或存放概念模型的维度定义，通过定义维度，确定维度主键，添加维度属性，关联不同维度等操作，构建整个企业的一致性数据分析维表，帮助您降低数据计算口径和算法不统一的风险。ODS层用于接收并处理需要存储至数据仓库系统的原始数据，其数据表的结构与原始数据所在的数据系统中的表结构一致，是数据仓库的数据准备区。二、每一层的作用是什么？

时加上 cascade 时，会把所有的分区都加上此字段。如果不加则只有新的分区会加上此字段，旧的分区没有此字段，即便数据文件里有对应的数据，也不能显示内容。注：判断表是否是外部表，使用 ‘show create table xxx’, 如果生成的是 ‘CREATE TABLE’ 是内部表，如果是是外部表。

Hive Metastore 是 Hive 元数据管理的服务。可以把元数据存储在数据库中。对外通过 api 访问。

Java 在 finally 里返回会忽略执行中的任意异常。当参数为 0 时，会抛出异常，然后进入finally 代码块， finally 中，有 return，会返回 “not success”，不会继续向上层抛出异常。如果我们的上层代码依赖异常，则会返回错误的结果。

因为在任意时刻，所有的读和写操作看到表的表的状态是相同的。两个并发的写入操作，第 2 个写入操作提交的时候不能覆写第 1 个写入操作对数据的修改，导致数据丢失。Iceberg Catalog 的接口定义了各种 Catalog 需要实现的方法，主要包括列出存在的表，创建表，删除表，检查表是否存在，给表改名。并且都支持迁移表的整个历史。register 迁移后，不删除旧的 catalog 中表定义，可以用来预迁移的验证。使用 register，不能使用不同的 catalog 写入数据，这样会导致数据丢失。

每组文件合并之后，就生成一个新的快照，这样新的查询就可以利用合并的快照。| Merge-on-Read(equality deletes) | 慢 | 最快 | 使用更频繁的合并减少读开销 |如果表的字段非常多，可能照成 meta 文件特别大，可以关闭某些字段的收集或者限制收集的内容。如果快照的数量少于第3个参数设置的数量，则不清除。没有包含在 manifest 中的文件，如失败的作业建立的文件。特别是实时计算，每次插入特别少的记录，导致生成大量的文件。更改分区字段，新的写入立即生效。

【代码】Iceberg 表不能用 Show Partitions 显示分区信息。

metadata 下有4个文件，去掉创建时生成的 00000-831f9491-0ebf-45e6-9ead-902bc62ba658.metadata.json，现在解释以下 3 个文件。这时表目录下仅有一个 metadata 目录，metadata 目录下有一个 metadata.json 文件。第1列是数据生成的 timestamp，第2列是快照 ID。可以看到 metadata 文件增加了 3 个文件。插入记录后，表目录下有data 目录。或者 --package 参数。iceberg 是库名。

安全模式下 连接 7778 端口，并且连接方式是 https。非安全模式连接 8089 端口，并且连接方式是 http。

beeline 连接 Spark thriftServer 的参数。

【代码】Hadoop 远程 debug。

存储的管理是一个与计算实例的管理完全不同的问题。PersistentVolume 子系统为用户和管理员提供了一组 API， 将存储如何制备的细节从其如何被使用中抽象出来。为了实现这点，我们引入了两个新的 API 资源：PersistentVolume 和 PersistentVolumeClaim持久卷（PersistentVolume，PV）是集群中的一块存储，可以由管理员事先制备， 或者使用存储类（Storage Class）来动态制备。持久卷是集群资源，就像节点也是集群资源一样。

此文档从 Kubernetes 官网摘录容器中的文件在磁盘上是临时存放的，这给在容器中运行较重要的应用带来一些问题。当容器崩溃或停止时会出现一个问题。此时容器状态未保存， 因此在容器生命周期内创建或修改的所有文件都将丢失。在崩溃期间，kubelet 会以干净的状态重新启动容器。当多个容器在一个 Pod 中运行并且需要共享文件时，会出现另一个问题。跨所有容器设置和访问共享文件系统具有一定的挑战性。

此文档从 Kubernetes 官网摘录服务内部流量策略开启了内部流量限制，将内部流量只路由到发起方所处节点内的服务端点。这里的”内部“流量指当前集群中的 Pod 所发起的流量。这种机制有助于节省开销，提升效率。

此文档从 Kubernetes 官网摘录在 Kubernetes 中，Service 是一种抽象的方式， 用于公开在一组 Pod 上运行的应用。Service 可以具有集群作用域的虚拟 IP 地址（使用 type: ClusterIP 的 Service）。客户端可以使用该虚拟 IP 地址进行连接，Kubernetes 通过不同的后台 Pod 对该 Service 的流量进行负载均衡。

Kubernetes 的部署方式有很多种，没有一种按区域分配端点的启发式方法能够适用于所有场景。此特性的一个关键目标是：如果内置的启发方式不能满足你的使用场景，则可以开发自定义的启发方式。启用自定义启发方式的第一步包含在了 1.27 版本中。这是一个限制性较强的实现，可能尚未涵盖一些重要的、可进一步探索的场景。

此文档从 Kubernetes 官网摘录。

此文档从 Kubernetes 官网摘录。

此文档从 Kubernetes 官网摘录如果你希望针对 TCP、UDP 和 SCTP 协议在 IP 地址或端口层面控制网络流量， 则你可以考虑为集群中特定应用使用 Kubernetes 网络策略（NetworkPolicy）。在定义基于 Pod 或名字空间的 NetworkPolicy 时， 你会使用选择算符来设定哪些流量可以进入或离开与该算符匹配的 Pod。另外，当创建基于 IP 的 NetworkPolicy 时，我们基于 IP 组块（CIDR 范围）来定义策略。