大数据
文章平均质量分 91
学习与记录大数据相关知识
无语梦醒
所有打不死我的,终将使我变得更强
展开
-
DolphinScheduler3.0.1(数据质量)
一开始我在数据质量的模块里找了半天如何创建监控任务,直到我在工作类型中看到DATA_QUALITY,我……核心配置项如下,不同的监控规则可以在数据质量的规则管理界面查看。原创 2023-03-15 11:47:41 · 2423 阅读 · 11 评论 -
DolphinScheduler跨版本升级1.3.8至3.0.1
dolphinscheduler1.3.8越级升级3.0.1 & 部署dolphinscheduler原创 2023-02-27 16:50:24 · 1519 阅读 · 1 评论 -
DolphinScheduler流程调度工具
目录一、平台简介二、竞品软件分析三、安装部署 3.1 基础环境3.2 安装前操作3.3具体安装操作步骤3.4 名词解释四.功能介绍4.1 首页&项目管理4.1.1 首页4.1.2 项目管理4.1.3 任务节点类型和参数设置4.2 资源中心4.2.1文件管理4.2.2 UDF管理4.3 数据源中心4.4 监控中心4.5 安全中心4.5.1 租户管理4.5.2 用户管理4.5.3 告警组管理4.5.4 Wor.转载 2022-03-16 11:57:01 · 7266 阅读 · 2 评论 -
Flink实践——CDC(一)
Flink CDC实践(一)Refer详细步骤开启MySQL BinLogIDEA Flink ProjectPOMIDEA问题解决基本功能示例基本功能示例Refer遵循历史,依然要感谢各位在网上的输出!Flink CDC实时获取MySQL数据详细步骤开启MySQL BinLog首先要明确的是是否需要开启BinLog,如果在正式环境上,一般不用自己开启,运维侧一般为了恢复数据等恢复策略已经开启了BinLog哈,我这里的操作仅支持个人测试使用哦!Linux:更改my.cnf文件Wi原创 2021-12-16 18:19:33 · 1133 阅读 · 0 评论 -
Datart使用说明
跑象团队新发布的开源平台 Datart安装问题记录原创 2021-10-26 09:27:13 · 5930 阅读 · 1 评论 -
数据仓库知识整理(一)
1.背景 归纳整理数据仓库的基础知识,了解数据仓库的全貌和可深入学习的部分。其中部分话术来源于网络,会在统一位置进行标注引用,感谢大家在网络上的分享!2.数据仓库知识整理2.1 文章引用 2.2 数仓建设必要性 数据仓库的建设自下而上是为了解决BI等技术人员更方便快捷的获取数据,自上而下是为了帮助决策人员更好地了解业务进度、成果,并制定策略。2.3名词解析及图例2.4...原创 2021-05-31 21:19:50 · 536 阅读 · 0 评论 -
数据仓库知识整理(三)
1.背景 归纳整理数据仓库的基础知识,了解数据仓库的全貌和可深入学习的部分,本章节会主要梳理Hadoop&Hive&Spark,末尾链接会梳理离线/实时数仓部分技术能力(持续更新,如果我坚持下去了的话,哈哈哈)。其中部分话术来源于网络,会在统一位置进行标注引用,感谢大家在网络上的分享!2.数据仓库知识整理2.1 文章引用2.2 Hadoop2.3Hive2.4Spark...原创 2021-06-08 16:01:28 · 471 阅读 · 0 评论 -
指标体系建设
1.背景 结合业务场景将多个不同指标和维度进行组合,从而针对某一真实业务场景进行数据分析和决策导向,并能在整体业务变化中发现和定位问题。2.概念理解与示例分析2.1 指标体系指标体系 名称 分类 解析 作用/示例 指标 结果型指标 时机:动作发生后 监控数据异常 过程型指标 时机:动作发生中 可以通过运营策略影响过程指标 体系(维度) 定性维度 文字类描述 城市,性别,职业 定量维度 数值类...原创 2020-09-03 18:06:00 · 1837 阅读 · 0 评论 -
WaterDrop整体安装流程总结
最近在学习WaterDrop的工作流程和代码逻辑,首先先得把环境搭起来啊,我所有的内容都搭建的单机版,先把项目启动起来了,记录在这里以备后用。 WaterDrop官网:https://interestinglab.github.io/waterdrop/#/zh-cn/v2/ 版本选择: waterdrop-dist-2.0.0-p...原创 2020-06-21 15:31:32 · 3631 阅读 · 0 评论 -
Flink安装流程及问题
最近在虚拟机上部署很多的环境,但是由于很多都想用新版本一些的,所以遇到了很多问题,在这里记录一下。 我下载的版本是flink-1.10.0-bin-scala_2.12.tgz,网址为https://flink.apache.org/downloads.html,流程如下 当然可以根据需要更改版本,不过可能不太适合这篇文章的错误和排错方式,这点要注意。 ...原创 2020-04-29 15:03:34 · 873 阅读 · 0 评论 -
Hadoop权威指南复读(一)
最近又重新回读权威指南,感觉曾经都只是浅显的略过,可能确实是学的多了就会看到事物不一样的那一面哈……所以这一遍正确记录下来一些心得和所学吧,也会在记录的同时查看很多前人的笔记,所以还是要感谢各位在网络上的分享! 一.摘要及重要信息记录 1.数据集: Amazon Web Services Infochimps.org 美国国家气...原创 2020-06-21 16:28:17 · 175 阅读 · 0 评论 -
Hive数据连接及合并
最近有重新回看了《Hadoop权威指南》,又想起来总结一些博文了,所以针对Hive常Hive数据连接及合并又仔细查了很多资料,写了这篇文章,还是一样,感谢各位在网络上的分享!!!一.Hive连接: Hive中的join只支持等值join,在join on中的on后的连接条件只能是“=”,不能是“<”或“>”等符号。并且,on中的等值连接只能是and,不能是...原创 2020-03-30 12:00:13 · 4855 阅读 · 0 评论 -
Hive常用函数和性能调优
最近有重新回看了《Hadoop权威指南》,又想起来总结一些博文了,所以针对Hive常用函数和性能调优又仔细查了很多资料,写了这篇文章,还是一样,感谢各位在网络上的分享!!! 博客分享: https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties 一.Hive常用函数...原创 2020-03-29 15:57:08 · 926 阅读 · 0 评论 -
Hadoop权威指南——天气情况实例
说实话,为了实验这第一个hadoop实例真的是看了很多的视频,实验了很多的博客,大部分的均使用了maven,但是我在看得视频没有用maven,并且是直接在本地系统,也就是hadoop三个模式之一的独立模式下进行的,那么确实有很多的例子均不太能使用,今天给自己记录一下这第一个实例,同时希望能给一些人帮助。 我使用的是Ubuntu16.0.4的系统版本,eclipse作为...原创 2018-03-12 12:44:22 · 1747 阅读 · 0 评论