【数据库】Dataphin操作文档

一. 简介

1.1 介绍

Dataphin是由阿里研发的智能大数据建设平台,提供一站式数据中台(大数据平台)建设服务。Dataphin通过沙箱(项目)实现业务及作业资源隔离,运行更快,且数据同步到Dataphin后,会统一将敏感数据脱敏后放入脱敏层,增强安全性并提高了效率。

Dataphin支持选择不同计算引擎进行数据处理,包括:MaxCompute、HadoopHive、AnalyticDB PostgreSQL、Flink,产品使用大致分成几个部分:数仓规划、数据研发、资产管理和资产服务。其服务模式包括:

1)公共云在线服务:Dataphin 支持按月订购的预付费模式,开通即可使用;

2)线下独立部署:提供一次购买软件并每年订购维保的买断式服务。

Dataphin的产品框架如下:

1.2页面展示

研发:报表开发及数据查询

资产:快速查询当前Dataphin有哪些数据资产

规划及管理中心:一般大数据运维及产品开发人员使用

注:右上角的消息通知,可以快速了解你申请的账号/表权限当前的审批节点在哪。

二. 操作手册

2.1 权限申请

DP使用需要开通账号权限、沙箱权限、表及字段权限,具体如下:

1)账号权限:使用Dataphin的权限(走工单);

2)项目(沙箱)权限:申请与自己业务及部门相关的项目权限,实现作业资源隔离(走工单);

3)表权限及字段权限:在DP页面申请即可

资产—>搜索相关表—>申请权限—>选择项目及对应字段

Step1:打开资产页面

Step2:搜索对应的表

Step3:申请权限

Step4:填写信息并提交

2.2 数据查询

步骤:选择沙箱—>创建文件夹及页面—>写SQL脚本à保存并执行

注:写SQL语句查询数据:只能查询申请过权限的表,不然会报错。

实例:

=======================================================

SELECT id

,created_at

,phone

,ds

from ods_test.ods_test_goods_detail_record_df

where ds = '${bizdate}'

-- where ds = '20230109'

========================================================

2.3 数据开发

必须选择可执行调度任务的沙箱权限。具体操作步骤如下:

2.3.1:建表并写入数据库数据

Step1:新建页面,填写任务名称及调度类型,并点击确认。

Step2:建表&写入数据库数据

实例:

========================================================

CREATE TABLE${ods_test}.ods_test_goods_detail_record_df

(

id string COMMENT '编号',

created_at date COMMENT '创建时间',

phone string COMMENT '客户号码'

)

COMMENT '信息记录'

PARTITIONED BY (ds string)

=========================================================

insert overwrite tableods_test.ods_test_goods_detail_record_df partition (ds='${bizdate}')

select id

,created_at

,phone

fromods_real.ods_real_goods_detail_record_df;

=========================================================

Step3:运行、提交并发布。

运行无误后,要填写属性进行调度配置

2.3.2:建表并写入本地数据

如果要写入本地数据,则需要如下步骤:

Step1&2:选择集成环境à新建页面à离线管道

Step3:选择组件并拖入画布

注:右键点击组件的三个点,可以进行配置、复制、删除等操作。

Step4:输入组件配置(以CSV文件为例)

注:本地的CSV文件表头不要有中文,不然无法解析。

Step5:输出组件配置

Step6:连接输入和输出

Step7:保存&运行&预览&提交

执行完上述步骤,即可在数据库查到相应的数据表和数据。

2.4 数据运维

2.5 连接Jupyter作数据分析

三. 常用文档及注意事项

3.1 常用文档

DP官网

https://help.aliyun.com/product/87584.html?spm=a2c4g.750001.list.108.4cc17b13iaSxMY

SQL对照表

https://help.aliyun.com/document_detail/96342.html

3.2常用释义

df/di

df指的是全量更新;di指的是增量更新。对于全量更新的表,取其最新分区即可;对于增量更新,根据数据需要的时间维度取分区即可。

ds:分区,DP取数必须要卡分区,不然会报错。即写sql语句的时候,where后一定要加ds = '${bizdate}'(动态分区)

统一命名规范

1)表字段、表名

表字段一般英文小写、不要用关键字命名字段,例如,datetime;

表名:结尾用df/di区分全量表还是增量表,开头加上数据库名,尽量能够在表明中描述清楚表的含义,单词间用短下划线连接。

例:ods_test.ods_test_goods_detail_record_df

2)脚本

脚本名称和输出结果表的名称保持一致

一个脚本尽应该只产生一张表,便于维护

添加必要注释

基础模式/开发模式

基础模式(Basic)只能查询,不可调度,故适合分析及策略人员;开发模式(Dev-Prod)可调度,适合数据开发人员。

3.3 常用SQL

时间/日期

日期与ds格式转换

date(call_time) = date(to_date('${bizdate}','yyyymmdd'))

ds =replace(date(dateadd(current_date(),-1,'day')),'-','')

datetime(concat(cast([日期(dte)] as string),' 00:00:00'))

date(to_date(ds,'yyyymmdd')) =date_add(current_date(),-2)

字符串

substr(b.uid,1,1) in ('0','2','f','4')

格式转换

cast(a.talk_length as bigint)

  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: Oracle数据库学习官方文档是Oracle公司官方提供的关于Oracle数据库的详细文档。这些文档包含了Oracle数据库的各个方面的知识和技术,从基础的数据库概念到高级的性能调优和安全管理,都能在官方文档中找到相应的内容。 首先,官方文档提供了全面而系统的数据库知识,包括数据库架构、SQL语言、数据类型、查询优化、索引设计等。无论是初学者还是有经验的数据库管理员,都可以通过官方文档来学习和掌握数据库相关的知识。 其次,官方文档中还提供了丰富的示例和实践指导,帮助用户理解和应用所学的数据库知识。通过这些示例,用户可以了解数据库操作的具体步骤和实际应用场景,提高自己的实践能力。 此外,官方文档还介绍了Oracle数据库的高级特性和功能,如分布式数据库、数据复制和备份恢复等。这些知识对于企业级数据库管理和应用开发非常重要,而且只有通过官方文档才能获得最权威的信息。 总而言之,Oracle数据库学习官方文档是学习和使用Oracle数据库的重要参考资料。通过学习官方文档,用户可以系统地掌握Oracle数据库的核心知识和技术,提升自身的数据库能力。而且,官方文档还可以帮助用户解决实际问题和应对挑战,是Oracle数据库学习和应用的必备工具。 ### 回答2: Oracle数据库学习官方文档是Oracle官方为用户提供的学习和使用Oracle数据库的指南和参考资料。它涵盖了各个方面的内容,旨在帮助用户深入了解和掌握Oracle数据库的各种功能和特性。 这些官方文档以易于理解和系统化的方式组织,从基础知识到高级技巧都有详细的说明和示例。学习者可以根据自己的需求选择不同的主题进行学习和参考,比如数据库管理、SQL语言、备份恢复、性能调优等。 Oracle数据库学习官方文档内容全面且经过验证,可以被认为是学习Oracle数据库的权威指南之一。它包含了许多实际案例和最佳实践,可以帮助用户更好地理解和应用Oracle数据库的特性,提高工作效率和数据库的性能。 此外,Oracle数据库学习官方文档不仅包含文字说明,还提供了丰富的图表、示意图和代码示例,使用户可以更直观地理解和学习。用户可以通过在线阅读或下载文档的方式获取所需信息,并根据自己的进度和需求进行学习。 总而言之,Oracle数据库学习官方文档是Oracle官方为用户提供的学习和参考资料,它详细介绍了Oracle数据库的各个方面,帮助用户深入了解和掌握Oracle数据库的功能和特性。通过学习官方文档,用户可以提高数据库技术水平,更好地应用Oracle数据库。 ### 回答3: Oracle数据库学习官方文档是指由Oracle公司官方发布的有关Oracle数据库的学习资料和文档。这些文档包括了Oracle数据库的各个方面,包括了基本概念、架构、常用功能和高级特性等内容。以下是关于Oracle数据库学习官方文档的一些重要特点和重要性: 1. 全面而详细:Oracle数据库学习官方文档提供了对Oracle数据库各个方面的详细说明,包括了数据库的基本原理、SQL语言、PL/SQL编程、数据库管理等内容。这些文档能够帮助学习者全面了解并掌握Oracle数据库的技术细节。 2. 权威可靠:由于Oracle公司的官方发布,这些学习文档具有高度的可信度和权威性。学习者可以通过学习官方文档,了解到Oracle数据库的最新版本的特性和更新。 3. 丰富的实例和示例:Oracle数据库学习官方文档中包含了大量的实例和示例代码,这些实例能够帮助学习者更好地理解和掌握数据库的使用方法和技巧。 4. 完备的参考手册:Oracle数据库学习官方文档也作为一份完备的参考手册存在,学习者可以在实际使用Oracle数据库时随时查阅相关文档来解决问题和获取帮助。 5. 更新迭代及时:Oracle公司会对数据库进行不断的更新和迭代,并相应地更新和发布学习官方文档,以保持其与最新版本的数据库同步。 对于学习和使用Oracle数据库的人来说,Oracle数据库学习官方文档是一份非常有价值的学习资料。通过阅读官方文档,学习者能够对数据库有更深入的了解,掌握数据库相关的知识和技能,并在实践中应用所学知识。同时,官方文档也能够帮助学习者及时了解到Oracle数据库的最新特性和功能,使其能够保持在技术的前沿。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值