wank1259162的博客

数据项是数据的最小单位，是不可分割的数据元素。它可以是一个字符、一个数字、一个字段或一个记录的一部分。

和是在数据管理领域中两个相关但不同的概念。

纬度建模和逻辑建模是数据建模过程中的两个不同方面，它们关注的焦点和目标有所不同，但在整个数据仓库和分析系统的建设过程中，它们是相互关联的。

本节主要是创建模拟数据，包括事实表和维度表，并通过Flink映射为Icerberg数据表，构成DWD层数据。测试数据目录 baswewebsite.log 数据格式member.log 数据格式memberRegtype.log 数据格式pcenter_mem_paymoney.log 数据格式pcenterMemViplevel.log 数据格式项目POM文件文件目录结构1. 拷贝测试数据目录下的文件到/tmp/warehouse

维度建模一般按照以下四个步骤： 选择业务过程→声明粒度→确认维度→确认事实选择业务过程在业务系统中，挑选我们感兴趣的业务线，比如下单业务，支付业务，退款业务，物流业务，一条业务线对应一张事实表。声明粒度数据粒度指数据仓库的数据中保存数据的细化程度或综合程度的级别。 声明粒度意味着精确定义事实表中的一行数据表示什么，应该尽可能选择最小粒度，以此来应各种各样的需求。典型的粒度声明如下：订单事实表中一行数据表示的是一个订单中的一个商品项； 支付事实表中一行数据表示的是一个支付记录。确定维度维度的主要作用是描述业务

Apache Iceberg是一种用于大型分析数据集的开放表格，Iceberge向Trino和Spark添加了使用高性能格式的表，就像Sql表一样。Iceberg为了避免出现不变要的一些意外，表结构和组织并不会实际删除，用户也不需要特意了解分区便可进行快速查询。（1）Iceberg的表支持快速添加、删除、更新或重命名操作（2）将分区列进行隐藏，避免用户错误的使用分区和进行极慢的查询。（3）分区列也会随着表数据量或查询模式的变化而自动更新。（4）表可以根据时间进行表快照，方便用户根据时间进行检查更改。（5）提

数据格式：arrow 定义了一种在内存中表示tabular data的格式。这种格式特别为数据分析型操作(analytical operation)进行了优化。比如说列式格式(columnar format)，能充分利用现代cpu的优势，进行向量化计算(vectorization)。不仅如此，Arrow还定义了IPC格式，序列化内存中的数据，进行网络传输，或者把数据以文件的方式持久化。 开发库：arrow定义的格式是与语言无关的，所以任何语言都能实现Arrow定义的格式。arrow项目为几乎所有的主流编程

Flink JDBC 连接器允许使用 JDBC 驱动程序从任何关系数据库读取数据并将数据写入其中。本文档介绍如何设置 JDBC 连接器以针对关系数据库运行 SQL 查询。如果在 DDL 上定义了主键，则 JDBC sink 以 upsert 模式与外部系统交换 UPDATE/DELETE 消息，否则，它以 append 模式运行，不支持消费 UPDATE/DELETE 消息。测试代码代码说明1、hadoop catalog创建创建脚本，warehouse的路径，它会自动创建HDFS路

堆内存增大，GC一次能处理的数量变大，吞吐量大；但是GC一次的时间会变长，导致后面排队的线程等待时间变长；向反，如果堆内存小，GC一次时间短，排队等待的线程等待时间变短，延迟减少，但一次请求的数量变小。一、吞吐量与响应时间 吞吐量 = CPU在用户应用程序运行的时间 / （CPU在用户应用程序运行的时间 + CPU垃圾回收的时间） FULL GC，串行垃圾回收会使用应用停顿，响应用户时间长二、垃圾回收器算法比较 串行回收算法：会停止当前应用进程，回收垃圾，停顿时间久，吞吐量大，响应时间长 并行回收算法： 是

cmd命令行查看Java8的GC：结果如下：结果分析：由结果可以看出Java8的GC情况是：-XX:+UseParallelGC，即Parallel Scavenge（新生代） + Parallel Old（老生代），实际上几个主流Java版本的GC情况如下：jdk1.7 默认垃圾收集器Parallel Scavenge（新生代【标记-复制算法】）+Parallel Old（老年代【标记整理算法】） jdk1.8 默认垃圾收集器Parallel Scavenge（新生代）+Parallel Ol

在ZooKeeper 中没有沿用传统的Master/Slave 概念， 而是引入了Leader 、Followe和observer 三个角色。ZooKeeper 集群中的所有机器通过一个Leader 选举过程来选定一台被称为“ Leader” 的机器， Leader 服务器为客户端提供读和写服务。除Leader 外， 其他机器包括Follower 和Observer 。Follower 和Observer 都能够提供读服务， 唯一的区别在于， Observer 机器不参与Leader 选举过程， 也不参与写

Flink提供了基于JDBC的方式，可以将读取到的数据写入到MySQL中；本文通过两种方式将数据下入到MySQL数据库，其他的基于JDBC的数据库类似，另外，Table API方式的Catalog指定为Hive Catalog方式，持久化DDL操作。Maven依赖，包含了Hive Catalog的相关依赖 DataStream方式读写MySQL数据Table API的方式读写MySQL，其中Flink的Catalog使用Hive Catalog的方式MySQL中的数据..........

Ignite 带有符合 ANSI-99、水平可扩展和容错的分布式 SQL 数据库。根据用例，通过跨集群节点对数据进行分区或完全复制来提供分布。作为 SQL 数据库，Ignite 支持所有 DML 命令，包括 SELECT、UPDATE、INSERT 和 DELETE 查询，并且还实现了与分布式系统相关的 DDL 命令子集。您可以通过连接来自外部工具和应用程序的JDBC或ODBC驱动程序与 Ignite 进行交互，就像与任何其他启用了 SQL 的存储一样。Java、.NET 和 C++ 开发人员可以利用本机

可以将 Ignite 用作现有数据库（例如 RDBMS 或 NoSQL 数据库，例如 Apache Cassandra 或 MongoDB）之上的缓存层。这个用例通过使用内存处理来加速底层数据库。Ignite 提供与 Apache Cassandra 的开箱即用集成。对于其他没有现成集成的 NoSQL 数据库，您可以提供自己的CacheStore接口实现。可以使用外部存储的两个主要用例包括：现有数据库的缓存层。在这种情况下，您可以通过将数据加载到内存中来提高处理速度。您还可以将 SQL 支持引入没有它的数据

本文使用版本为 默认安装 版本即可，解压安装包，在集群每台主机上的 目录下增加 配置文件如下：通过bin/ignite.sh启动服务，一般Ignite有服务发现机制，无论有多少个节点，都可以只配置如上面配置的集群中的3个IP就可以，这个三个节点需要提前启动，其他新加入的节点，会通过这三个节点，路由到集群中的其他机器。通过集群API查看集群的状态。缓存读写通过客户端API创建缓存，读写数据...............

Apache Ignite服务端可以兼容Redis Java客户端协议，可以使用Redis客户端像操作redis一样操作。此处相当于把Apache Ignite当作Redis服务端使用，ignite需要初始化一个redis-ignite-internal-cache-0缓存，作为默认的存储。并且绑定6379供r......

简单说Apache Ignite是为开发人员提供了实时处理大数据和内存计算的方便易用的解决方案：提供的主要功能如下所示：Elasticity 弹性：集群可以通过添加节点进行水平扩展；Persistence 持久性：数据网格可以将缓存中的数据持久化到关系型数据库中，甚至是NoSQL数据库中，例如MongoDB或Cassandra；Cache as a Service(CaaS) 缓存即服务：允许跨组织、多应用去访问管理内存缓存而不是慢速的基于磁盘读写的数据库；2nd Level Cache 二级缓存：可以作为

简介JRuby是纯java实现的ruby语言。JRuby使用ruby语法开发。不仅可以使用ruby类库，同时也可以使用java基础类库和第三方jar包。hbase的交互式命令行是通过jruby实现的，当我们输入hbase shell时，实际上最终执行的是org.jruby.Main，并以bin/hirb.rb作为参数，注意是根目录下bin目录中的hirb.rb，而不是hbase-shell中的irb/hirb.rb； 这个类来自jruby的包，作用是把ruby编写的代码转换成java字节码，进而能够

Error Messages to Fear参考地址：Introduction · Hadoop and Kerberos: The Madness Beyond the GateSecurity error messages appear to take pride in providing limited information. In particular, they are usually some generic IOException wrapping a generic securit

创建库create database rangerkms;alter database rangerkms character set latin1; create user 'rangerkms'@'%' identified by '1q2w3eROOT!';GRANT ALL PRIVILEGES ON rangerkms.* TO 'rangerkms'@'%' IDENTIFIED BY '1q2w3eROOT!';flush privileges;解压，修改配置文件tar