python：从阿里ODPS（maxcomputer）读取数据写入Excel

最新推荐文章于 2024-05-12 10:06:39 发布
最新推荐文章于 2024-05-12 10:06:39 发布
阅读量9.1k 收藏 39
点赞数 4
分类专栏： python 文章标签： python pyodps openpyxl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/long_bunny/article/details/103067825
版权

0. 背景及目标

在使用阿里maxcomputer进行数据库查询过程中，当查询结果超过一万行时无法直接导出csv文件，解决方法比较多：
1、MaxCompute Studio的基础平台IntelliJ IDEA，将查询结果写入临时表中，在客户端进行导出
（阿里教程：https://help.aliyun.com/document_detail/50891.html?spm=5176.10695662.1996646101.searchclickresult.3dc41598EQEYGm&aly_as=Vu68vGZA）；
2、安装Navicat Premium（可链接多个数据库的管理工具），查询并导出；
3、其他。
因为嫌安装和配置软件比较麻烦，且最近在学习python，所以想练习下，写代码实现将查询结果直接写入Excel中。
本文仅作为自己的学习记录。

1.用到的工具及软件包

python集成开发环境：pycharm
Python版本： Python3.7
ODPS：第三方库，连接maxcomputer查询数据
openpyxl：第三方库，处理xlsx格式的Excel文件
datetime：处理时间

2.遇到的问题

1、第一次接触odps，不太会o(╥﹏╥)o。引用知乎上周田的回答：pyodps提供了用python去操作odps的接口，你可以用你熟悉的python与odps交互，操作odps上的表、任务、函数、资源等。pyodps说明文档：ht

最低0.47元/天 解锁文章
????? ⃢?-?⃢ .
关注
  • 4
    点赞
  • 踩
  • 39
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
pyodps写入mysql分区表_pyodps操作maxCompute
weixin_35996612的博客
02-09 1121
连接ODPSfrom odps import ODPSodps = ODPS('**your-access-id**', '**your-secret-access-key**', '**your-default-project**',endpoint='**your-end-point**')your-default-project**',endpoint='**your-end-point**...
藏经阁-大批量处理excel文件到ODPS中方案.pdf
08-30
藏经阁-大批量处理excel文件到ODPS中方案.pdf
最全数据仓库解决方案——ODPS组件化改造之路(1)，2024大数据开发面试真题精选干货整理
最新发布
2401_84183033的博客
05-12 403
组件是一种带有多个输入参数和输出参数的SQL代码过程模板, SQL代码的处理过程一般是引入一到多个源数据表，通过过滤，连接，聚合等操作，加工出新的业务需要的目标表。****▐ 组件的。
电脑本地python通过pyodps连接maxcompute
yuanzhoulvpi的博客
07-28 2481
1. 背景： 最近公司将数据库从阿里云的adb转换到maxcompute，这次是介绍如何将本地的anaconda环境的python，通过pyodps包连接maxcompute（以下简称mc） 2. 需要内容： 运维给到的mc账号信息： """ 用户登录名称 niubi@22333333837828675.onaliyun.com 登录密码 hduishcuisbbcsyu{}hauiidhiauhs AccessKey ID dschuivdsbyfydgywycsbb AccessKey S..
Python读取文件并写入到MaxCompute表
XuXuemin的专栏
02-04 411
使用Python，或者使用DataWorks创建PyODPS3节点，读取FTP或者远程FTP文件，然后写入到MaxCompute指定表的分区中。
如何把表格导入到excel
weixin_35749786的博客
02-14 1877
如果您想将表格导入到Excel，可以使用以下步骤: 打开Excel软件。 在首页点击“数据”按钮，在下拉菜单中选择“从其他源”，再选择“从文本”。 选择表格文件的位置并打开，然后选择“下一步”。 在导入向导的“分隔符”页面中，选择表格文件的分隔符(如逗号、制表符、空格等)，然后选择“下一步”。 在导入向导的“数据格式”页面中，可以设置数据格式(如文本、数字、日期等)，然后选择“下一步”。...
大批量处理excel文件到ODPS中方案
weixin_34378969的博客
12-06 1067
大批量处理excel文件到ODPS中方案 前言 最近所做的项目需要将近五千个excel文件导入到ODPS，并且excel文件内容格式全部不一样。 刚接到需求时特别的懵，不过工作还是要做的，首先通过查询dataworks中文档来看怎么实现该需求，通过文档了解到只支持csv、txt等格式进行单个上传，然后就开始着手做。 方案一 1 、首先...
maxcomputer pyodps数据基本操作
x_ing_feng的博客
06-02 3012
1.阿里maxcomputer中的datawork支持python代码调用，运行；新建PyODPS 节点，将会包含一个全局的变量odps或者o，即 ODPS 入口，用户调用datawork中的表数据。 2.pyodps中创建表，但不建议这样操作，建议更直接的sql节点建表https://help.aliyun.com/document_detail/90412.html?spm=a2c4g.11186623.2.8.12d744cfBBmd6V#concept-lhx-tmf-cfb 3.pyo...
maxcomput-python sdk
wxdoop的博客
09-12 874
导包 文章目录导包常用表操作创建PyODPS表的Schema创建PyODPS表获取表的数据PyODPS写入数据删除PyODPS表PyODPS表分区PyODPS SQLPyODPS Resource pip install pyodps 常用表操作 from odps import ODPS # 初始化一个MaxCompute的入口 odps = ODPS('xxxxx', 'xxxxx', 'x...
Pycharm下载MaxCompute过程
Andy_shenzl的博客
03-17 1530
MaxCompute-原ODPS是阿里巴巴云独立开发的大数据处理平台。它是一个快速的、基于云的大数据解决方案，支持多个分布式数据存储和处理模型，可以提供海量数据仓库和大数据建模服务。 我们主要介绍下怎么在Pycharm上进行使用基本的SQL查询 打开Pycharm Pycharm->preferences ->plugins 里面搜索插件，如下图直接installed 下...
通过Dataworks的Pyodps连接Oracle库定时调度发送邮件报表Excel
qq_40772429的博客
03-15 681
通过Dataworks将Oracle的SQL任务通过数据集成同步到表中，然后将表中的数据用pyodps调度，群发至指定的邮箱
ODPS参考手册
08-05
阿里odps开放平台的参考手册，里面详细介绍了odps的操作
Python_开始使用第三方库
m0_70495771的博客
04-03 120
1.进入pypi.python.org,搜索要安装的库的名字,可能会搜出3种情况：首先是'.exe'文件,其次是'.whl'文件,最后是源码(zip,tar.zip,tar.bz2格式的压缩包)3.安装成功后,PyCharm会有成功提示.(此时可以在project interpreter界面中查看安装了哪些库,点-号就可以卸载不再需要的库)4.安装某些库的过程中,可能会遇到所依赖的另一个库还没安装,导致无法安装成功的情况,这时候的处理原则就是:缺什么装什么.法三 --- 最原始的方式:手动安装。
将本地mysql数据库表格导入到odps
tony286186的专栏
12-26 2232
将本地mysql数据库表格导入到odps大数据计算服务项目中 将本地mysql数据库表格导入到odps大数据计算服务项目中 一、工具下载以及部署 方法一、直接下载DataX工具包(如果仅是使用，推荐直接下载)： 1.1. 下载DataX :   wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.
Java集成maxcomputer,下载超过1W条数据并生成excel
qq_24442443的博客
04-10 510
问题：由于经常要从maxcomputer上导出数据，但是平台每次最多只能导出1W条数据。一.首先是maxcomputer的各种配置，然后将引用相关的pom。最后直接运行main方法,就会在本地生成excel文件。二.java操作工具类-读取数据。
阿里MaxComputer基本操作
liquanaddnewer的博客
02-03 2783
注意 as 后面不支持单引号 表名称不支持中文 查看数据 read table 10; flag ## order by set odps.sql.validate.orderby.limit=false; ## 付费 set odps.task.quota.preference.tag=payasyougo; ##使用python函数 set odps.sql.python.version=cp37; ## group by 1,2,3 set hive.groupby.position.alias
ODOO12图书项目导入导出CSV数据文件
r_nznf的博客
10-24 457
导出数据文件并查看文件结构的简易方式是使用内置的导出功能。通过生成 CSV 文件，我们可以了解手动导入系统所需的格式，或编辑该文件批量导入，甚至是使用它生成我们插件模块的演示数据。 下面我们一起来学习从 Odoo 用户界面导入和导出的基础知识。 导出数据 数据导出是表单视图中的标准功能。要使用该功能， 需要勾选左侧的复选框来选择需导出的行，然后在上方的动作菜单中点击导出选项。首先我们要在图书应用中添加一些带有出版商和作者的图书。下例中我使用此前添加的书籍。 我们还需要安装联系人应用，这样可以看到 Partn
ODOO的csv导出
03-15 527
odoo的csv导出时，选择好导出字段后，可以保存模板，模板保存在ir_exports和ir_exports_line表里。 第一次选择字段的时候，如选择供应商/供应商，能够把供应商的ID标识导出来。     一旦保存模板后，再次导入的话，就没有ID了。   看表里的数据分析可以看到对应关系。 seller_ids   对应的是 product.product表关联的produ...
Odoo模块开发教程6-导入导出 CSV 数据文件第三讲
a7282787的博客
06-11 557
添加模块数据 模块使用数据文件来加载默认数据、演示数据、用户界面定义和其它需存入数据库的配置。可以选择使用 CSV 或 XML 文件。 “ 注意： Odoo 12 的修改Odoo 11 及之前版本支持 YAML 格式文件，但在 Odoo 12 移除了相关支持。相关使用示例可参考 Odoo 11 官方模块 l10n_be，更多 YAML 格式相关信息，可访问 http://yaml.org/。 ” 模块所使用的 CSV 和我们前述使用导入功能时用的文件是一样的。在模块中使用这些文件时，文件名须与要导入数据的
阿里云动态分区输出数据：FAILED: ODPS-0123031:Partition exception - invalid dynamic partition value: \ufffd\ufffd\ufffd\ufffd\ufffd\ufffd
11-01
根据提供的引用内容，阿里云动态分区输出数据出现了异常，错误信息为：ODPS-0123031:Partition exception - invalid dynamic partition value: \ufffd\ufffd\ufffd\ufffd\ufffd\ufffd。这个错误信息表明动态分区输出数据时，出现了无效的动态分区值。可能是由于动态分区值的格式不正确或者动态分区值的类型不匹配导致的。需要检查动态分区值的格式和类型是否正确，以及是否与表定义的分区类型匹配。如果动态分区值的格式和类型正确，但仍然出现了这个错误，可能是由于ODPS的bug导致的，需要联系ODPS技术支持团队进行处理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值