yingzi的技术博客

Flink的内置函数在持续的优化当中，请尽量使用内部函数替换自定义函数。使用内置函数好处优化数据序列化和反序列化的耗时新增直接对字节单位进行操作的功能//初始化tableenvironmentTableEnvironmenttEnv=...//获取tableEnv的配置对象Configurationconfiguration=tEnv.getConfig().getConfiguration();//设置参数httpshttpshttps。...

1、在MySQL中建立一个maxwell库用于存储Maxwell的元数据。4、启动kafka消费客户端（前提先启动zookeeper）4、分配这个账号可以监控其他数据库的权限。5、操作数据库，发现消费者消费的信息。3、分配一个账号可以操作该数据库。提前准备好MaxWell软件包。3、启动maxwell。...

2、修改conf/example/instance.properties。注意canal解压后是散的，故需要解压在具体的canal目录上。1、修改canal/conf/canal.properties。5、操作数据库，查看kafak消费客户端的效果。2、分配一个账号(canal)可以操作数据库。提前开启zookeeper、kafak。4、启动kafka消费客户端测试。提前准备好canal软件包。...

1.Atlas概述​ Apache Atlas为组织提供开放式元数据管理和治理功能，用以构建其数据资产目录，对这些资产进行分类和管理，服务于数据分析师和数据治理团队，提供围绕这些数据资产的协作功能。​ Atlas的具体功能如下：元数据分类支持对元数据进行分类管理，例如个人信息，敏感信息等元数据检索可按照元数据类型、元数据分类进行检索，支持全文检索血缘依赖支持表到表和字段之间的血缘依赖，便于进行问题回溯和影响分析等1）表与表之间的血缘依赖2）字段与字段之间的血

文章目录第1章：Superset入门1.1概述1.2Superset应用场景第2章：Superset安装及使用1.安装Python环境1.1安装Miniconda1.2创建Python3.7环境1.3常用命令2.Superset部署2.1安装依赖2.2安装Superset2.3启动Supterset2.4Superset.sh：启停脚本第3章：Superset使用1.安装依赖2.重启Superset第1章：Superset入门1.1概述​ Apache Superset是一个开源的、现代的、轻量级B

文章目录1.Kylin简介1.1Kylin定义1.2Kylin架构1.3Kylin特点2.维度和度量2.1维度和度量2.2Cube和Cuboid2.3Cube构建算法1）逐层构建算法（layer）2）快速构建算法（inmem）2.4.4Cube存储原理3.Kylin Cube构建优化3.1使用衍生维度（derived dimension）3.2使用聚合组（Aggregation group）3.3Row Key优化1.Kylin简介1.1Kylin定义​ Apache Kylin是一个开源的分布式分

文章目录1.Presto简介1.1Presto概念1.2Presto架构1.3Presto优缺点2.Presto安装2.1Presto Server安装2.2Presto命令行Client安装2.3Presto可视化Client安装3.Presto优化之数据存储3.1合理设置分区3.2使用列式存数3.3使用压缩4.Persto优化之查询SQL4.1只选择使用的字段4.2过滤条件必须加上分区字段4.3Group By语句优化4.4Order by使用Limit4.5使用Join语句时将大表放在左边5.注意事项

文章目录一、Kerberos概述1.kerberos简介2.Kerberos术语3.Kerberos认证原理二、Kerberos安装1.安装Kerberos相关服务2.修改配置文件3.初始化KDC数据库4.修改管理权限配置文件5.启动Kerberos相关服务6.创建Kerberos管理员用户三、Kerberos数据库操作1.登录数据库2.创建Kerberos主体3.修改主体密码4.删除Kerberos主体5.查看所有主体四、Kerberos认证操作1.密码认证2.密钥文件认证3.销毁凭证一、Kerbero