一、数据同步上云
安装Python环境>下载datax客户端>创建项目>创建表>编写json配置文件>同步数据到odps
Python地址:https://www.python.org/downloads/
Datax地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz"
1、基于阿里云大数据平台创建数据同步表
1.1.首先您需要阿里云账号并已开通大数据计算服务,如果您已开通大数据计算服务,则直接进入控制台点击“大数据开发套件”进入Data IDE环境。
1.2.点击管理控制台,进入管理控制台页面,点击创建项目,新建MaxCompter项目
1.3.点击进入工作区,进入到odps工作空间,工具栏点击【新建】,选择新建表
对应本地数据订单抬头表,将需要进行数据处理的字段提出来,注:登录阿里云市场点击【我的头像】点击【管理控制台】下的【大数据开发套件】,进入项目管理找到自己新建的项目点击【进入工作区】,在IDE工作环境中标题栏中选择【数据管理】。在左边标题栏下点击【数据表管理】,加载出数据管理页面。找到我【管理的表】,点击查看,以上就完成了Maxcompute建立项目和建表的工作内容。
2、配置DataX数据同步配置文件
首先需要下载的datax(datax 是不同类型的数据库中间交换数据的工具)