DPDI实操演练第001讲--手工调度本地PDI任务生成日期维度数据

DPDI实操演练第一讲

1.DPDI简介

DPDI Online 您的智能ETL任务调度专家
DPDI Online 是一款基于Kettle的强大在线任务调度平台，凭借其高效与灵活性，专为调度和监控Kettle客户端生成的ETL任务而设计
DPDI Online 具有一下特性
多服务器多版本支持：无缝整合不同服务器和Kettle版本，确保任务执行兼容性和一致性
联合开发：由三倍镜成员团队共同研发，确保平台的创新性和专业性
灵活部署：支持属地化部署，满足您的特定业务需求
定制化开发：提供个性化定制服务，以适应不断变化的市场需求

2.DPDI背景

Pentaho Data Integration简介
PDI也称为Kettle,Kettle是利用Spoon设计器设计转换(Transformation)和作业(Job),转换主要是针对数据的各种处理,⼀个转换⾥可以包含多个步骤(Step),作业是处理流程,⼀个作业⾥包括多个作业项(Job Entry),⼀个作业项代表了⼀项⼯作,转换也是⼀个作业项
Pentaho Data Integration调度监控
Pentaho Data Integration（kettle）作为用户规模最多的开源ETL工具，强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。Pentaho官方都建议采用crontab(Unix，linux平台)和计划任务(Windows平台)来完成调度功能。所以大家在实施kettle作业调度功能的时候，通常采用以下几种方式：使用spoon程序来启动Job，使用crontab或计划任务，自主开发java程序来调用kettle的类库
DPDI online在线调度管理
DPDI online是基于Pentaho Data Integration构建的一个高效、灵活的在线任务调度（Dispatch）平台。它允许开发人员和数据工程师以简单的方式定义、管理和执行定时的数据处理任务，是大数据环境中的ETL流程自动化的好帮手

3.DPDI官网

官方网站地址
DPDI安装包和产品文档下载地址
DPDI演示环境地址
联系我们

4.DPDI实操演练第一讲

利用Dispatch PDI调度PDI任务生成日期维度表
4.1PDI流程

4.2 PDI实现步骤说明
4.2.1生成20年日期记录
用到PDI组件：输入-生成记录

4.2.2增加日期序列
用到PDI组件：转换-增加序列

4.2.3生成日期属性
用到PDI组件：脚本-JavaScript代码

4.2.4日期属性筛选
用到PDI组件：转换-字段选择

4.2.5加载数据到数据仓库
用到PDI组件：输出-表输出

4.2.6数据仓库数据库连接配置

连接名称命名为Data_warehouse、连接类型选择mysql、连接方式采用JNDI、JNDI名称设置为Data_warehouse(DPDI连接配置需要设置的名称)

4.3 Dispatch PDI调PDI任务
4.3.1登录DPDI
输入用户名和密码勾选同意并接受DispatchPDI用户协议进行登录

4.3.2新建资源库
登录后在左侧菜单中 -> 资源管理下 -> 点击资源仓库 ->点击新增资源库

选择资源库类型为文件、填写资源库编码、资源库名称、资源库简介,点击保存即可完成资源库的创建

4.3.3上传PDI文件
点击查看明细进入名Dispatch PDI资源库明细页面

上传文件夹 -> 选择目录 -> 点击上传 ->选择要上传的文件夹

选择要上传的文件夹 ->上传

确定要上传的文件个数 ->上传

再次确认文件个数 -> 确定，完成文件上传

PDI文件导入完成后结果展示

4.3.4连接配置
数据仓库JNDI名称为Data_warehouse连接配置步骤:
资源管理->连接配置、修改数据库URL（IP，端口，数据库Schema）->新增->选择数据库类型->填写数据库名称、数据库描述、数据库用户名、数据库密码->点击测试连接->测试连接成功点击确定完成数据库连接配置

配置成功后结果

4.3.5任务配置
资源管理->任务配置->新增->选择调度方式为手工执行->任务环境/服务器类型为本地->任务信息/下拉选择资源库、下拉选择脚本目录、下拉脚本名称找到任务DIM_DATE.ktr->
点击保存

任务配置成功后结果

4.3.6预警配置
配置SMTP服务器地址、SMTP服务器端口、发件人、收件人、抄送人地址，点击发送测试邮件提示测试邮件成功代表配置正确，点击保存完成预警配置

4.3.7启动任务
点击播放按钮进行启动任务

可实时监控运行日志，也可以随时停止任务

4.3.8预警记录
如果任务失败会有异常邮件通知,DPDI可以查看预警记录
,

预警配置设置的接收人和抄送人邮箱中可以看到具体的错误日志

4.3.9日志管理
日志管理可以查看运行日志

4.4 结果展示

更多实操演练请关注三倍镜官网