weixin_40455124
这个作者很懒,什么都没留下…
展开
-
大数据指标体系-笔记
能够发现局部与整体的关系及问题定位,当数据发生异动时,通过指标体系的逻辑拆解,能迅速定位到大致的异动模块及原因。一个是Target,是预先给出的值,用来判断是否达到预期。2.6 从“人”、“货”、“场”三个角度进行了数据指标和分析维度的提炼。能满足不同数据使用方的日常需求,对产品经营及发展情况有整体了解;指标定义,指标命名混乱,指标不唯一,指标维护口径不一致;频繁的需求变更和反复迭代,数据报表臃肿,数据参差不齐;指标消费,数据出口不统一,重复输出,输出口径不一致;4.2 T2指标:业务策略层面指标。原创 2023-08-05 08:05:34 · 327 阅读 · 0 评论 -
各种大数据概念笔记
5.3 阿里数据中台就是基于OnelD技术,实现了消费端、广告端、支付端.娱乐端等业务板块用户ID的打通,并通过这个统一ID,关联起各个孤岛的数据,实现数据通融,进一步实现完整的用户画像和准确的数据应用。而主数据更强调在数据产生之前定义数据标准,建立数据管理流程,并在数据产生的过程中对数据质量进行校验,从源头进行数据治理。5.2 因此,相对于数据中台来讲,主数据管理是一个后台系统,它可以作为数据中台的一个数据源为数据中台供应高质量的数据。在实际数据治理的时候也被称为参考主数据,和主数据统一管理流程。原创 2023-08-05 08:01:23 · 296 阅读 · 0 评论 -
数据治理-笔记
建议您借助RACI(RACI 定义职权方、任责方、受询方和受知方的角色)或DACI(DACI 定义推进方、批准方、贡献方和受知方的角色)等责任分配矩阵。应用流程旨在将数据治理工作付诸实践并确保遵守在发现和定义流程阶段捕获的所有数据治理政策、业务规则、发现流程捕获企业数据生命周期的当前状态、相关业务流程、支持的组织和技术功能以及数据本身的状态。数据建模、流程建模、数据质量、数据隐私、主数据、数据监控和审计、工作流管理和协作功能。清洗、扩充、脱敏、匹配、合并、协调、修复、验证、检验或提高数据安全性和质量。原创 2023-08-05 07:57:27 · 248 阅读 · 0 评论 -
what Data Fabric
Data Fabric 是技术方案,目前发展趋势也在考虑支持data mesh。原创 2023-03-11 18:29:08 · 323 阅读 · 0 评论 -
what data contract
data contracts 笔记,主要来自微软材料原创 2023-03-11 17:26:08 · 206 阅读 · 0 评论 -
Data mesh 笔记
Pain Points of Central Data Responsibility :granting access to data in a central data lake,数据湖里面的数据,难以熟悉并给出适当的访问控制 Decision making requires domain knowledge. A manual centralized process does not scale.self-serve的优势。原创 2023-03-11 17:00:14 · 477 阅读 · 0 评论 -
flink table statement 执行及并发控制
另外statementSet.execute()每次都会去申请(启动)TableEnvironment ,如果在本机通过createLocalEnvironmentWithWebUI 启动,每次端口都可能不一样(可以通过日志看到端口)。可以设置table.exec.resource.default-parallelism来控制并发。原创 2023-02-02 08:22:58 · 170 阅读 · 0 评论 -
idea 下flink Process finished with exit code 130
1、调大numberOfTaskSlots:conf.setInteger(“taskmanager.numberOfTaskSlots”,8);在本机idea 下运行flink,task没有启动直接退出,报 Process finished with exit code 130。这个错误通常不是网上搜索到的内存资源不够,而是slot 数量不足,2、降低并发 : env.setParallelism(1);原创 2023-02-02 08:07:31 · 1398 阅读 · 0 评论 -
flink mysqlcdc 2 redis delete 操作
flink cdc 可以通过RowKind 来识别row 为DELETE,UPDATE_AFTER,INSERT等,同步这个加上不同redis table 实现redis key insert/update/delete。简单记录下是否flink 将mysql 配置表同步到redis,redis sink 使用jeff-zou的connector。原创 2023-01-29 11:07:40 · 557 阅读 · 0 评论 -
flink 1.16 tablestore及跨catalog 数据插入简单测试
注意: 插入指定column 需要注意大小写,需要注意column name、tablename 与数据库的关键字不冲突,flink 不会在column name 前加’或者“以支持与数据库关键字冲突的字段名称。table-store 模式下表的schema采用json模式存放在目录下,每个分区一个目录,分区下再有bucket,bucket下文件格式为orc。从table-store 往pg 插入数据,要求有pk,否则有如下错误。如果关键字冲突,可以从flink exception 出错的sql。原创 2022-11-26 09:51:38 · 234 阅读 · 0 评论 -
flink 1.16 sql gateway 测试记录
从能搜索到的文档看,一次只能执行一条sql或者set 之类的命令本质就是flink sql的 proxy ,文档也是如此描述通过curl 直接使用还是不方便,应该考虑使用代码进行封装执行失败会返回后台堆栈,但不自行格式化很难阅读,同时还是建议去看后台log虽然是proxy性质,单独部署时候配置和lib需要和cluster其它节点保持一致,否则会有class找不到之类的错误执行结果有点奇怪,有点难阅读,比如select 输出没有column name。原创 2022-11-11 07:02:10 · 906 阅读 · 0 评论 -
airbase 初步分析
presto是主要基于把airbase作为parent 进行各种check及管理基础dependency的版本。基本结构airbase root 本身有两个项目policy 保存check规则airbase 各种maven plugin 及依赖库版本定义airbase maven plugin及跳过pom.xml build部分包括了大量plugin,从代码风格、依赖分析、编译等等,总之想通过maven对代码做什么依赖,都可以来参考airbase,可以通过在子项目的pom.xml prop原创 2022-04-22 06:49:37 · 320 阅读 · 0 评论 -
presto on spark 支持3.1.3记录
记录下presto 272 的on spark 从2.0.2 升级到3.1.3。主要的工作其实都是出来jar hell,即不同模块间的jar 版本不一致,其次是airbase升级后必须使用jdk 11进行编译。windows 编译和运行先处理presto-maven-plugin,主要是更新public class ServiceDescriptorGenerator的findImplementationsOf函数的如下内容。 String className = classPath.sub原创 2022-04-22 06:27:20 · 188 阅读 · 0 评论 -
presto maven-dependency-plugin Skipping 原因
在对presto 0.272 进行maven 依赖分析的时候,发现presto-spark-package没有dependency 输出,默认输出内容如下:presto maven-dependency-plugin Skipping 原因[INFO] --------------< com.facebook.presto:presto-spark-package >--------------[INFO] Building presto-spark-package 0.272原创 2022-04-16 18:04:51 · 414 阅读 · 0 评论 -
presto-spark-core 升级到spark 3.2.1
presto-spark-core 是presto on spark需要的spark core的打包,源码地址:https://github.com/prestodb/presto-spark-core核心其实就一个pom.xml从这个pom.xml 可以看到presto 0.272 对应的spark 是2.0.2 ,scala 是2.11 ,对应部分如下: <properties> <project.build.sourceEncoding>UTF-8<原创 2022-04-11 23:41:01 · 1447 阅读 · 1 评论 -
alluxio 编译源码org.codehaus.mojo:buildnumber-maven-plugin 错误
alluxio 编译源码遇到如下错误[ERROR] Failed to execute goal org.codehaus.mojo:buildnumber-maven-plugin:1.4:create-metadata (default) on project alluxio-core-common: Execution default of goal org.codehaus.mojo:buildnumber-maven-plugin:1.4:create-metadata failed.: Nul原创 2022-04-07 23:46:51 · 1188 阅读 · 0 评论 -
解决Error: java.io.IOException: Failed to cache: /dev/shm/alluxioworker/.tmp_blocks No such file
使用alluxio 2.7.3 + MapReduce 时,包括在hive 客户端内执行表统计,遇到如下错误2022-04-06 12:21:01,958 INFO mapreduce.Job: map 0% reduce 0%2022-04-06 12:21:13,159 INFO mapreduce.Job: map 100% reduce 0%2022-04-06 12:21:20,237 INFO mapreduce.Job: Task Id : attempt_1649245717160原创 2022-04-07 23:41:24 · 245 阅读 · 0 评论 -
TestingTrinoServer 及 TestProxyServer快速记录
Trino 除了DevelopmentServer外,单元测试广泛使用的其实是TestProxyServer。TestingTrinoServer定义如下:public class TestingTrinoServer implements Closeable看初始化函数,可以发现基本上和server一样,创建modules及执行大量injector实现各种组件初始化。TestProxyServer是测试trino-proxy的入口类,可以看下setupServer的代码中调用了T原创 2022-03-28 05:49:27 · 276 阅读 · 0 评论 -
trino 373 windows下编译及运行DevelopmentServer
编译trino 本身是要求在类linux下运行,用mac等。在windows下是无法全部编译的,比如trino-server-rpm这module是无法编译成功。因此要取消root下部分无法编译的module,以下是修改后可以成功的modules: <modules> <module>client/trino-cli</module> <module>client/trino-client</module>原创 2022-03-24 05:55:58 · 1902 阅读 · 0 评论 -
trino 373 DevelopmentServer POM 模式放弃篇
trino 373 DevelopmentServer 支持POM及jar模式,POM模式经过分析后决定放弃,原因如下。pom trino会去连接maven remote repository获取依赖jar对应的pom 文件,核心代码如下:private MavenProject getMavenProject(File pomFile) { try { PlexusContainer container = container(); or原创 2022-03-23 07:56:47 · 372 阅读 · 0 评论 -
trino spill 机制初步测试
trino spill 机制按官方文档说明,可以用于内存不足的场景,但实际使用仍然可能oom。本文基于官方docker image进行测试。测试sql : select count(*) from ( select name from sf100.customer except select name from customer);在不使用spill的时候,很快就退出,提示node内存不足但jvm 不会OOM。修改config.properties如下#single node install c原创 2022-03-16 21:55:32 · 1186 阅读 · 0 评论 -
trino-prestosql 373编译记录
编译用Docker先以./core/docker/Dockerfile 为基础,创建一个基于centos的编译环境,dockerfile如下:FROM centos:centos7.4.1708ADD zulu-repo-1.0.0-1.noarch.rpm /zulu-repo-1.0.0-1.noarch.rpmENV JAVA_HOME /usr/lib/jvm/zulu11RUN \ set -xeu && \ rpm -ivh /zulu-repo-1.原创 2022-03-16 21:38:02 · 1142 阅读 · 0 评论 -
一图解释flink 3种时间
一图解释flink 3种时间来自https://medium.com/big-data-processing/time-attributes-in-apache-flink-85e2afdda238原创 2022-01-21 04:16:37 · 1343 阅读 · 0 评论 -
flink CEP 1.12不支持processTime 模式分析
CEP的运行核心类为/flinkCEP-Patterns/src/main/java/org/apache/flink/cep/operator/CepOperator.java在此类的processElements可以看到有一个依据isProcessingTime的判断: @Override public void processElement(StreamRecord<IN> element) throws Exception { if (isProcessin原创 2022-01-21 04:12:00 · 508 阅读 · 0 评论 -
hive 小文件监控及合并
监控:hive 表的默认情况下,会自动统计,(hive.stats.autogather,默认为true)到metadata表中,在mysql中可以同如下语句查看文件数量及rowSELECT c.*,d.numRows FROM (SELECT a.TBL_NAME,a.TBL_TYPE,b.PARAM_VALUE as numFiles FROM TBLS a, TABLE_PARAMS b WHERE b.TBL_ID=a.TBL_IDAND b.PARAM_KEY='原创 2022-01-17 05:33:41 · 322 阅读 · 0 评论 -
hive textfile orc parquet格式简单比较
使用datafaker 在虚拟机生成100万数据,2列的值重复较多,2列较少。表结构create table if not exists test_parquet( advertiser_id string, ad_plan_id string, gen_time TIMESTAMP , cnt BIGINT) 使用datafaker先生成10万数据,meta文件如下advertiser_id||string||advertiser_id[:ipv4]ad_plan_id||s原创 2022-01-15 19:23:40 · 1430 阅读 · 0 评论 -
datafaker docker化及使用记录
Docker化虽然官网https://github.com/gangly/datafaker 说支持python 2及3,但我在使用3.4遇到依赖安装失败,最后使用python 2.7成功支持了mysql及hive,Dockerfile文件如下FROM python:2.7WORKDIR /faker_homeRUN python -m pip install --upgrade pipRUN apt-get update && apt-get install -y libsas原创 2022-01-15 19:14:06 · 1579 阅读 · 0 评论 -
flink upsert kafka 及versioned table 测试
upsert kafka几点差异1、必须使用 .option(“value.format”, “json”)2、不能使用 .option(“scan.startup.mode”, “earliest-offset”)3、可以通过row.getKind() 获取需要的数据,比如只获取after-update的数据4、kafka key中会保留pk信息PS发现flink insert 的字段可以少于select 字段,但select 字段必须等于table定义的字段selectQue原创 2022-01-14 06:17:25 · 781 阅读 · 0 评论 -
flink table 读取kafka key
flink table 默认是读取kafka key,需要使用.option(“value.fields-include”, “EXCEPT_KEY”),完整示意代码如下:public class KafkaKeyAndValueTable { public static void main(String[] args) { EnvironmentSettings settings = EnvironmentSettings.inStreamingMode(); TableEnvironmen原创 2022-01-14 06:11:30 · 671 阅读 · 0 评论 -
flink table primary key与format 关联
flink table primary key与format 有一定关联性,不是所有format都可以支持PK.如出现如下错误:Caused by: org.apache.flink.table.api.ValidationException: The Kafka table ‘default_catalog.default_database.KafkaVersionTable’ with ‘csv’ format doesn’t support defining PRIMARY KEY constra原创 2022-01-14 06:07:21 · 1195 阅读 · 0 评论 -
flink catalog 及dialect、数据转存分析
catalog使用catalog的时候,所有create table的表数据都会记录到catalog,而不仅仅是hive或者postgresql 已经定义好的表。以使用hive catalog 为例,创建一个mysql的表,在 DataNucleus.TABLE_PARAMS 表中有如下定义数据。注意,这类表使用hive desc table只有表名,没有字段信息。dialect及数据跨数据库转存dialect可以随时切换,如从hive切换回默认:即不是要hive dialecttableE原创 2022-01-12 21:06:46 · 587 阅读 · 0 评论 -
flink table-sql 总结
flink table-sql 总结,基于flink 1.14.2原创 2022-01-08 04:45:11 · 813 阅读 · 0 评论 -
flink deployment 及operation 笔记
记录下flink deployment 及operation 笔记 ,基于flink 1.14.2原创 2022-01-04 21:31:54 · 728 阅读 · 0 评论 -
flink datastream 个人笔记
记录下自己写的datastream 核心内容,基于flink 1.14.2原创 2022-01-04 21:30:14 · 742 阅读 · 0 评论 -
flink cdc 支持1.14.2 版本记录
https://ververica.github.io/flink-cdc-connectors 2.1.1是居于flink 1.13.3 开发的,使用了flink shaded guava18等类,在1.14.2会有如下错误:WARN org.apache.flink.runtime.taskmanager.Task [] - Source: TableSourceScan(table=[[default_catalog, default_database, sh原创 2021-12-30 23:35:04 · 2791 阅读 · 2 评论 -
java 访问hivemeta及hivemeta安全防护
简单记录下java 访问hivemetapom.xml配置无需hadoop依赖,配置hive相关依赖即可。<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/P原创 2021-08-27 23:09:23 · 256 阅读 · 0 评论 -
hive insert return code 1 from org.apache.hadoop.hive.ql.exec.StatsTask
hive insert 在非overwrite插入数据,如果使用非overwrite模式并且表已经存在数据的时候可能遇到如下错误:hive> insert into order_test_20210730 values(10,2),(9,4);Query ID = root_20210801150004_15df4fbb-0c79-481f-bc50-6e20db7f10b5Total jobs = 3Launching Job 1 out of 3Number of reduce task原创 2021-08-02 00:06:22 · 3543 阅读 · 3 评论 -
hplsql variable 使用记录
简单记录hplsql 变量使用方式。测试sql文件如下:SELECT * from order_test_all a where a.order_id = var_id and fee=var_fee;参数传入模式为每个参数使用-d(-hivevar也可以)[root@2b1823d183ca hive]# bin/hplsql -f test.sql -d var_id=2 -d var_fee=100 which: no hbase in (/opt/hadoop-3.2.1/bin/:/u原创 2021-07-31 01:30:28 · 144 阅读 · 0 评论 -
hive hqlsql 简单记录
hqlsql : 官网地址为http://www.hplsql.org/home ,在高版本hive已经自带了,查看hive/bin/hplsql,内容如下[root@140 bin]# cat hplsql#!/usr/bin/env bash# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distr原创 2021-07-24 04:37:54 · 123 阅读 · 0 评论 -
flink sql-client 使用记录
在尝试使用flink sql进行遇到一些坑,记录下来。原创 2021-07-14 23:19:29 · 1080 阅读 · 2 评论