云计算
文章平均质量分 61
mafumafu2018
这个作者很懒,什么都没留下…
展开
-
【云计算】阿里云爬坑记录-full scan with all partitions, please specify partition predicates.
00.背景又遇到了错误,这次是全表扫描的锅....01.出现问题failed: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: java.lang.RuntimeException: Table(<tablename>) is full scan with all partitions, please specify partition predicates...原创 2021-12-19 00:00:21 · 4999 阅读 · 0 评论 -
【云计算】阿里云爬坑记录-ORDER BY must be used with a LIMIT clause
00.背景在使用Tableau连接MaxCompute的时候,经常会出现这样的报错,现在记录一下我的处理流程01.发现问题打算用tableau分析一下site_name这个字段的分布情况,首先想把site_name里面的字段分好类别结果就是:报错...failed: ODPS-0130071:[20,1] Semantic analysis exception - ORDER BY must be used with a LIMIT clause, please set odp...原创 2021-12-18 13:36:57 · 1414 阅读 · 1 评论 -
【云计算】阿里云-pyodps处理指南
00.如何安装从平台到自行部署 - 云原生大数据计算服务 MaxCompute - 阿里云再记录一个安装配置PyODPS的方法读写MaxCompute表 - 机器学习PAI - 阿里云import numpy as npimport pandas as pdfrom odps import ODPSfrom odps.df import DataFrame# 建立链接。o = ODPS( '<your_AccessKey_ID>', '<.原创 2021-12-17 08:55:22 · 2152 阅读 · 0 评论 -
【云计算】阿里云爬坑记录-datawork数据后几列无法录入
00.背景从OSS把csv文件导入maxcompute库里,一切正常,日志也写着成功录入,但是后面几列的数据为空,怎么跑都是空,一脸懵逼的以为是不是阿里云BUG了...(后面证实,是我自己蠢)01.问题原因正常情况下,你把文件名写的很清楚(就是不加参数),datawork会读取文件的列数,并反馈在下面的映射中,读取有28个字段就在下面列出28行,一一匹配目标表的字段。然鹅,datawork这个数据源匹配界面,是不支持立马反馈参数的,所以我写了时间参数之后,它就读不...原创 2021-12-15 19:59:18 · 255 阅读 · 0 评论 -
【云计算】阿里云之云治理中心_学习笔记
因为最近企业在上云,总是在摸索一些从0到1的搭建捷径,少走弯路。00.序言今天学到的是阿里云的云治理中心,主要是方便企业用户设置多账号环境,构建资源目录,配置身份集成和权限分配,还有搭建网络架构等,十分便利。阿里云云治理中心是企业多账号环境集中治理和管理的平台。帮助企业根据最佳实践设置Landing Zone多账号环境,设定基线对企业云上环境进行持续治理和管理。https://www.aliyun.com/product/developerservices/governance?spm=5176.2原创 2021-11-29 23:38:52 · 2036 阅读 · 0 评论 -
【云计算】阿里云的RAM账号管理最|佳实践_学习笔记
学习一下如何科学的分配和使用阿里云的RAM账号,帮助企业部门划分归属组织及业务单元的权限。原创 2021-11-29 00:51:15 · 2383 阅读 · 0 评论