8.BASE使用指导

BASE使用指导

1配置
此套BASE平台为阿里将内部使用及公网BASE包装后输出的独立产品，依赖CDP、ODPS、PAI（尚未整合进来）。目前搭建在数梦四楼机房20号机柜，共5台服务器。这5台服务器仅安装了BASE的WEB应用与服务，及CDP，ODPS直接使用了DThink平台的系统。
此BASE平台安装与部署目前由梦见山、鬼谷子、华佗维护。
访问BASE平台前需先在本地hosts文件中增加几个域名映射：
#local dthink
192.168.103.181 aas.dthink.dtdream.com
192.168.103.181 account.dthink.dtdream.com

local odps

192.168.103.187 service.odps.mdu.aliyun.ga
192.168.103.187 dt.odps.mdu.aliyun.ga

local base

192.168.140.21 mysql.base.dtdream.com
192.168.140.22 redis.base.dtdream.com
192.168.140.23 pg.base.dtdream.com
192.168.140.24 tenant.base.dtdream.com
192.168.140.25 cloudsso.base.dtdream.com
192.168.140.26 alisa.base.dtdream.com
192.168.140.27 meta.base.dtdream.com
192.168.140.31 phoenix.base.dtdream.com
192.168.140.32 mosad.base.dtdream.com
192.168.140.33 cdp.base.dtdream.com
192.168.140.34 wkbench.base.dtdream.com
192.168.140.35 baseapi.base.dtdream.com
192.168.140.36 wkbenchcompute.base.dtdream.com
192.168.140.37 ide.base.dtdream.com

2账号
BASE平台使用与DThink相同账号，如果没有账号，请向梅西申请创建。创建后请先登录一次BASE（此时会显示NO TENANT），然后请上述维护人员使用BASE系统管理员账号将新账号添加到BASE平台，具体操作为：组织管理->成员管理->添加成员。

3项目管理
3.1创建项目（系统管理员）
项目只能由系统管理员创建，具体操作为：组织管理->项目管理->新建项目空间：

在新建项目页面，依次选择或填写：

1）选择模板，可选：开发+生产、开发项目、生产项目、开发+测试+生产，默认开发+生产；
2）填写项目名称及标识；
3）指定项目管理员，默认只有系统管理员作为项目管理员且不可删除，可增加多人作为项目管理员；
4）指定计算引擎，即ODPS project，点击输入框从下拉列表中选择一个project，如果没有需要先创建，操作见后面介绍；
5）生产项目中各控件同样输入，有些会根据开发环境中的命名自动产生。

3.2创建计算引擎（系统管理员）
计算引擎也只能由系统管理员创建，具体操作为：组织管理->计算引擎->添加ODPS项目作为引擎/创建ODPS项目作为引擎。

添加ODPS项目，是将ODPS中已存在的一个project加入到BASE平台中，创建ODPS项目，是新建一个project并加入到BASE平台，二者对话框中的配置项是类似的。

1）指定一个引擎名称；
2）指定project名称；
3）指定此project的owner；
4）指定使用owner操作此project，即执行项目中的任务时使用此账号及其AK连接并操作ODPS project；如果不勾选，会展开三个输入框，以指定一个特定账号、access_id、access_key。

3.3管理项目
项目管理员登录后，可以修改项目属性、管理项目成员、管理数据源。

3.3.1项目属性
大部分都不能更改，可以修改“项目描述”、计算引擎配置中的“ODPS访问身份”，这里不详述。

3.3.2项目成员
项目管理->成员管理：

1）添加新成员，弹出的对话框比较简单，这里不展示了，在文本框中输入一个名称回车即会搜索；注意，没有添加到BASE平台的用户这里搜不到；
2）给成员指定角色。

3.3.3数据源
项目管理->项目属性->数据源配置，可以创建项目会用到的数据源：

点击新增数据源：

1）指定一个名称；
2）选择数据源类型，可选odps、rds、drds、oracle、ads、ocs、oss，如果是mysql、sqlserver请选rds，并在新出现的两个控件中选择RDS实例还是JDBC形式，及具体数据库类型；
3）指定endpoint及project，或数据库url；
4）指定ak，或数据库用户名密码；

4数据开发
4.1工作流
工作流是一个有向无环图，描述作业中多个节点之间的逻辑。一个项目最多可以创建3000个工作流。

登录后默认打开数据开发->数据开发->开发面板，此时面板中为空。

点击新建工作流，或在数据开发->数据开发->管理面板中点击新建工作流，在对话框中输入名称及描述即可创建一个新的工作流。

创建后，自动进入该工作流的开发面板的整体视图；后期也可以在管理面板中点击链接进入。

1）点击会展开“节点组件”面板，其中包含六种节点组件，可以拖动到画布中间以新建节点；
2）分别表示：保存、提交、删除、编辑模式；保存按钮可以保存整个工作流的配置，提交可以提交整个工作流的配置变更，删除可以删除画布中的节点或连线，编辑模式可以获得编辑权限，工作流提交后画面处于非编辑状态，可点此按钮再编辑；
3）两个按钮分别为工作流属性、节点属性。

4.2节点
节点，也称为任务，节点串连起来组成工作流。
从节点组件中拖动某个节点出来，在对话框中指定名称便可创建一个节点。

鼠标悬浮在节点上边缘及下边缘，会出现一个圆弧，此时点击并拖动，可连接两个节点。

如果出现节点无法拖动，或拖不出连线，或连线无法落在目的位置，请安装chrome 46.0.2490.86 m版本（非64位）。

4.14.24.2.1ODPS_SQL节点
双击任一节点，可进入节点代码编辑面板或详细配置面板（对于非代码型节点）。
SQL节点编辑面板如下：

面板中央，可编写ODPS SQL语句。
上边的几个按钮分别为：保存、执行、停止、重排界面、刷新、全屏。
右侧的几个按钮功能为：
1）配置参数，如果SQL代码中用到一些参数，如’$bizdate’，可以此指定参数值。

2）找表，在租户范围查找数据表（即当前账户所拥有或有权限的表），找到后可直接引用。

3）插入sql函数，可选系统函数、自定义函数，自定义函数可详见4.4 其他资源。

4）资源，可以引用项目中其他资源，详见4.4 其他资源。

4.2.2ODPS_MR节点
MR节点编辑面板，布局与SQL面板完全一样。
BASE不支持直接MapReduce代码编写编译，可以将JAR包以资源的形式上传，在代码编辑区引用JAR包。

4.2.3数据同步节点
数据同步即使用CDP将数据导入或导出ODPS，双击节点可看到配置面板：

1）先选择源头及目标库/project；
2）选定库/project后，会显示“表”输入框，在此选择源表及目标表；
3）表选定后，后自动展示表中所有列字段，这里可以上下拖动以改变字段位置，或批量编辑修改或删除字段；
4）后面还可以指定抽取时的过滤条件，如create_date=’20150101’，及要插入目标表的哪个分区；
5）还可以指定流量速度、是否切分多片并行传输。

4.2.4机器学习节点
目前尚不可用。

4.2.5SHELL节点
可编写shell脚本，或调用已存在的脚本。界面同SQL节点界面。

4.2.6虚节点
虚节点没有实际的功能，一般工作流以一个虚节点为起始，有利于整个工作流的调度及查找。
比如两个工作流分别以虚节点v1_extract、v2_clean起始，可以分别对v1_extract、v2_clean两个节点设置调度策略，虚节点开始执行也就带动整个工作流执行。另外，查找时找到虚节点也就找到整个工作流。
如果没有虚节点，每个工作流的起始节点可能不一而同。

4.3工作流依赖与调度
工作流都要配置调度时间，不然发布到生产环境不会执行。

1）在工作流属性面板，展开调度属性，勾选“启动”便会展开具体日期与周期设置；
2）生效日期，设置在几月几日到几月几日之间调度此工作流；
3）调度周期，可以选“月”“周”“天”“小时”“分钟”；
4）选定周期后，再设置具体时间。

配置依赖：

1）所属项目，选择依赖哪个项目（的工作流）；
2）上游工作流，选择依赖哪个工作流；
3）下面会列表展示所选项目与工作流。

4.4其他资源
项目开发->管理面板，除了管理工作流，还可以管理脚本、资源文件、自定义函数。

4.5发布
开发好的工作流需要发布到生产环境中进行调度。
数据开发->发布管理->创建发布包：

页面以表格的形式列出此项目内所有工作流，找到要发布的工作流，点击“添加”，会将此工作流加入待发布框（类似于购物车）：

点击待发布框，弹出对话框，填写发布包名称及描述后，点击创建发布包或直接执行发布。

创建发布包后，在发布包列表页面可看到此发布包，点击发布既可发布。如果上一步骤中，点击“执行发布”，则会同时执行创建发布包与发布这两步。

5数据管理
数据管理，可以创建数据表、表权限申请、权限审批。

55.1全部数据
数据管理->全部数据，展示整个BASE空间中所有数据表，在这里可以申请表的权限（对于还无权限的表）。

申请授权：

点击表名，会看到表的详细信息，并可以进行收藏操作。

5.2数据表管理
数据管理->数据表管理，可以看到我拥有的表、我收藏的表、我管理的表。
我拥有的表，表示责任人是该用户的表，包含用户创建的表、其他用户转交给该用户的表。

点击更多，可选择表管理、隐藏、删除操作；点击表管理，可以修改字段描述或增加字段：

我收藏的表，可以看到收藏的表，对于整个BASE空间中的表都可以收藏。

我管理的表，表示用户管理的项目中的表。“我拥有的表”与“我管理的表”的区别是，张三在项目A中创建了表t1，如果李四是项目A的管理员，那么李四可以在“我管理的表”中看到表t1，但在“我拥有的表”中看不到，如果李四不是项目管理员，则看不到此表。

5.3权限管理
权限管理->申请记录中，可以看到正在申请的表。

权限申请被批准后，应该可以在我拥有的表中看到该表。

权限管理->待我审批：

权限管理->我已处理，可看到审批后的条目：

5.4管理配置
只有BASE系统管理可操作，可添加数据类目等。

6运维
工作流发布后，在生产环境（项目）中运维。
工作流发布后不会立刻调度，要在第二天才会产生调度实例。

运维中心，打开后默认显示概览页面（图中1），页面会展示任务调度统计、任务数量趋势、任务类型分布等。

点击图中标2的图标，可以展开左边菜单栏

6.1工作流管理
运维中心->任务管理->工作流管理->定义，会列出所有发布过的工作流。主面板会展示工作流状态，浅蓝色表示正常待调度。

注意，图中两个节点分别是一个工作流，这里把下游工作流flow2也展示了出来，注意不要当成两个节点。

双击某个工作流，可以进入看到此工作流内的节点：

右击某个工作流，在弹出菜单中可以选择查看属性、查看日志、编辑工作流、测试工作流、补数据

1）查看属性，可以看到工作流的调度属性；
2）查看日志，可以看到工作流的执行日志，如何时修改过；
3）测试工作流，可以手动触发工作流的执行，在对话框中指定手动执行的时间段；

其中，业务日期指使用的业务数据的分区，一般指定为前一日；
4）补数据，每日有新增数据后，可以给工作流补数据。

双击工作流进入节点界面，右击节点，也会弹出相同的菜单，多了“查看代码”。另外，查看日志可以看到此节点具体的执行日志，可以此定位问题。

6.1.1工作流测试
工作流或节点点击测试后，会在测试页面列出测试实例，实例按照工作流调度属性与测试指定时间段综合产生。
主页面可以看到实例执行的状态。

6.1.2工作流运维
工作流在生产空间真正调度后，任务管理->工作流管理->运维，会列出调度实例，并展示运行状态。

6.2工作流定义/节点定义
工作流定义与节点定义界面，可以看到工作流与节点的较详细信息，主要是调度策略及上下游关系。

6.3工作流实例/节点实例
工作流实例可以查看工作流调度的状态，可以按状态查询搜索工作流，也可以批量操作工作流重跑。

点击工作流详情，可以查看运行的具体信息，包括耗时等。

节点实例类似，不再赘述。

6.4开发环境的运维
在开发环境中也有运维中心页面，工作流发布后，开发环境的运维中心也可以看到工作流。与生产环境的区别是，其运维概览页面是空的，还有任务管理->工作流管理页面中的运维子菜单，以及任务管理->工作流实例、节点实例等，页面都没有数据。
总之，开发环境中的运维中心，只能手动测试，没有运维，没有实例。