基于云服务创建离线数据统计分析服务(二)

基于云服务创建离线数据统计分析服务

离线数据统计分析
  • 使用数据工厂、数据计算服务产品,可对多源数据(DB,FILE)整合分析,制定周期性的调度任务,提供任务监控及预警、数据统计分析等功能,可对接BI报表产品可视化分析。

在这里插入图片描述
使用京东云的数据工厂和数据计算服务,对于其他云平台可做参考。

数据工厂是京东云提供的一种数据移动服务产品,帮助用户实现数据自由流动。

京东云数据计算服务(Data Computing Service)是一个全托管、低使用成 本的云上数据仓库服务。

创建数据计算服务数据库表、任务开发,用户授权

1.登录控制台后,进入数据计算服务的“数据计算服务管理”页面,点击“用户名”。
在这里插入图片描述

2.点击左侧数据列表下的库表管理,点击“新建数据库”按钮。
在这里插入图片描述

3.填写数据库名称为“lab_rtd01”,确认完成数据库创建。
在这里插入图片描述

4.点击进入数据库“lab_rtd01”,创建数据库表。
在这里插入图片描述

5.填写数据表名为“re_sale”。添加列名“province_id、name、area_code、value”,选择对应类型,确认完成数据表的创建。
在这里插入图片描述

6.找到刚刚创建的数据表“re_sale”,点击右侧更多下的上传,进入数据上传页面。

在这里插入图片描述
7.将覆盖已有数据打勾,点击选择文件,确认后进行数据上传。

在这里插入图片描述
8.点击预览,查看数据表数据是否加载成功。

在这里插入图片描述
在这里插入图片描述

9.按照步骤5创建输出表“re_save”,无需上传数据。
在这里插入图片描述

10.点击左侧列表下的文件管理,可以进行文件上传、文件夹创建。

在这里插入图片描述
11.点击左侧开发列表下的任务开发,进入任务开发页面。填写SQL语句“select province_id,name,area_code,value from lab_rtd01.re_sale;”点击运行。可以在下方预览结果。

在这里插入图片描述
在这里插入图片描述

12.填写SQL语句“insert into table lab_rtd01.re_save select province_id,name,area_code,value from lab_rtd01.re_sale;”点击运行。运行成功后,点击右上方的格式美化,将SQL语句进行格式后保存为“migration”。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

13.点击任务开发页面的“开发脚本”,列表下就会出现刚刚保存的“migration”脚本。
在这里插入图片描述

14.点击左侧开发列表下的“任务历史”,进入任务历史页面,查询相关任务执行状态,执行时间等。
在这里插入图片描述

15.用户授权,点击左侧管理列表下的“用户”,进入用户管理模块。

在这里插入图片描述
16.点击“添加”按钮,添加用户,若没有用户,可以点击进入用户列表。

在这里插入图片描述
17.在用户列表点击“添加”按钮,添加用户名为“lab_01”的用户。

在这里插入图片描述
18.返回用户管理页面,刷新用户,添加用户“lab_01”。

在这里插入图片描述
19.点击用户组,添加组名为“lab”,确认添加。

在这里插入图片描述
20.点击组名为“lab”下的授权,授予表“re_sale”、“re_save”的“select”权限。

在这里插入图片描述
在这里插入图片描述

21.点击组名为“lab”编辑组成员,添加用户“lab_01”。
在这里插入图片描述

22.若用户是真实存在的用户,择授权成功,否则提示用户不合法。

在这里插入图片描述
在这里插入图片描述

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
要在并行超算云服务创建环境,您可以按照以下步骤进行操作: 1. 首先,确保您已经配置好了虚拟环境。如果没有配置,您可以使用以下命令创建一个新的虚拟环境:conda create --name your_env_name python=3.7 。请将"your_env_name"替换为您想要创建的虚拟环境的名称。 2. 使用命令conda env list来检查您是否成功创建了虚拟环境。您应该能够在返回的列表中看到您所创建的虚拟环境。 3. 接下来,您需要使用第三方软件Xshell连接到超算云服务。根据官方手册所述,如果在超算云应用中找不到Xshell,您可以下载云桌面。在下载的云桌面中,您应该能够找到Xshell工具 。 4. 如果这是您第一次使用并行超算云服务,您可能需要安装一些必要的环境。在超算云服务中,已经预先部署了一些环境,例如Anaconda、CUDA、gcc等 。 综上所述,您可以按照以上步骤在并行超算云服务创建环境,并使用Xshell工具进行连接。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [并行超算云环境配置](https://blog.csdn.net/m0_56698268/article/details/124767122)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值