基于云服务创建离线数据统计分析服务
离线数据统计分析
- 使用数据工厂、数据计算服务产品,可对多源数据(DB,FILE)整合分析,制定周期性的调度任务,提供任务监控及预警、数据统计分析等功能,可对接BI报表产品可视化分析。
使用京东云的数据工厂和数据计算服务,对于其他云平台可做参考。
数据工厂是京东云提供的一种数据移动服务产品,帮助用户实现数据自由流动。
京东云数据计算服务(Data Computing Service)是一个全托管、低使用成 本的云上数据仓库服务。
创建数据计算服务数据库表、任务开发,用户授权
1.登录控制台后,进入数据计算服务的“数据计算服务管理”页面,点击“用户名”。
2.点击左侧数据列表下的库表管理,点击“新建数据库”按钮。
3.填写数据库名称为“lab_rtd01”,确认完成数据库创建。
4.点击进入数据库“lab_rtd01”,创建数据库表。
5.填写数据表名为“re_sale”。添加列名“province_id、name、area_code、value”,选择对应类型,确认完成数据表的创建。
6.找到刚刚创建的数据表“re_sale”,点击右侧更多下的上传,进入数据上传页面。
7.将覆盖已有数据打勾,点击选择文件,确认后进行数据上传。
8.点击预览,查看数据表数据是否加载成功。
9.按照步骤5创建输出表“re_save”,无需上传数据。
10.点击左侧列表下的文件管理,可以进行文件上传、文件夹创建。
11.点击左侧开发列表下的任务开发,进入任务开发页面。填写SQL语句“select province_id,name,area_code,value from lab_rtd01.re_sale;”点击运行。可以在下方预览结果。
12.填写SQL语句“insert into table lab_rtd01.re_save select province_id,name,area_code,value from lab_rtd01.re_sale;”点击运行。运行成功后,点击右上方的格式美化,将SQL语句进行格式后保存为“migration”。
13.点击任务开发页面的“开发脚本”,列表下就会出现刚刚保存的“migration”脚本。
14.点击左侧开发列表下的“任务历史”,进入任务历史页面,查询相关任务执行状态,执行时间等。
15.用户授权,点击左侧管理列表下的“用户”,进入用户管理模块。
16.点击“添加”按钮,添加用户,若没有用户,可以点击进入用户列表。
17.在用户列表点击“添加”按钮,添加用户名为“lab_01”的用户。
18.返回用户管理页面,刷新用户,添加用户“lab_01”。
19.点击用户组,添加组名为“lab”,确认添加。
20.点击组名为“lab”下的授权,授予表“re_sale”、“re_save”的“select”权限。
21.点击组名为“lab”编辑组成员,添加用户“lab_01”。
22.若用户是真实存在的用户,择授权成功,否则提示用户不合法。