阿里天池搞MaxCompute的一些坑

最新推荐文章于 2022-05-07 14:46:36 发布
最新推荐文章于 2022-05-07 14:46:36 发布
阅读量654 收藏
点赞数
分类专栏： 机器学习相关
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leokingszx/article/details/78733034
版权

1、尝试新事物，最好在已知事物的基础上进行！不了解intellij idea，也不懂其打包的原理。。最后还是老老实实的用了Eclipse

2、不要用太新的版本！极大可能不兼容！博主在w10环境下，先后尝试jdk1.9，1.8，在天池MR那里都提示版本太新.....然后换1.7。在那里，不知怎的提示@override有错？于是乎删掉，编译器又自降版本到1.5才成功。。PS：最新的eclipse还不支持jdk1.7，于是乎又下载了一个eclipse4.5...折腾了将近一天，才爬完了这个坑

 

PS：关于UDF的介绍

UDAF用的不多，可以用Map和Reduce的操作来代替

码破苍穹
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
visual studio2019链接opencv
leokingszx的博客
06-23 1万+
收藏
linux环境下，geopandas 安装报错，显示Proj executable not found. Please set PROJ_DIR variable
热门推荐
leokingszx的博客
12-03 2万+
pip install geopandas 之前好好的，突然就安不上了，看了一下，原来是pyproj没装好 折腾了一圈，发现先 pip install pyproj==2.2.0 即可。可能是这玩意升级的版本太高了，以致于不兼容。
pandas apply，参数化指定列名（将需要的列先放在list中），并进行操作
leokingszx的博客
05-07 4249
在这里写了apply同时处理两列的方法 CSDN，apply同时处理两列的值 但如果需要汇总很多列的数据时，一个一个写太麻烦了。 这里应该结合python不定长函数，完成功能。 领会下面这个demo的含义就行了。 import numpy as np import pandas as pd df = pd.DataFrame ({ 'a' : np.random.randn(5) * 1, 'b' : np.random.randn(5) *
Pycharm下载MaxCompute过程
Andy_shenzl的博客
03-17 1542
MaxCompute-原ODPS是阿里巴巴云独立开发的大数据处理平台。它是一个快速的、基于云的大数据解决方案，支持多个分布式数据存储和处理模型，可以提供海量数据仓库和大数据建模服务。 我们主要介绍下怎么在Pycharm上进行使用基本的SQL查询 打开Pycharm Pycharm->preferences ->plugins 里面搜索插件，如下图直接installed 下...
PyCharm常用配置大杂烩--让IDE更懂你
荷塘月色
08-06 2135
文章目录设置项目编码 收集了一些个人在日常中可能会用到的一些设置，希望这些操作能让我们能够有效提高我们的开发效率。 设置项目编码 左上角File–>Settings–>Editor–>Code Style–>File Encoding 设置为对应的编码即可（我这里是设置的UTF-8） 上面这个只是设置了当前打开项目的设置，如果需要设置其他项目也适用的全局的配置，需要从这里进去： 左上角File–>Settings for New Project–>Editor–&gt
阿里天池 ：二手车价格预测比赛
05-30
数据可以在官网下载 方案与文件
阿里天池竞赛.zip
01-01
全国大学生电子设计竞赛（National Undergraduate Electronics Design Contest），试题，解决方案及源码。计划或参加电赛的同学可以用来学习提升和参考。程序均是实战案例，经过测试可直接运行。...
阿里天池算法
04-02
阿里天池算法是阿里巴巴举办的一系列数据竞赛的平台，旨在推动技术创新，促进大数据和人工智能领域的研究与发展。这个平台聚集了全球的技术爱好者，他们通过解决实际的业务问题来提升自己的技能，同时也为阿里集团和...
阿里巴巴天池大数据竞赛.zip
最新发布
01-01
全国大学生电子设计竞赛（National Undergraduate Electronics Design Contest），试题，解决方案及源码。计划或参加电赛的同学可以用来学习提升和参考。程序均是实战案例，经过测试可直接运行。...
阿里天池大数据竞赛实战.pdf
06-18
2015年3月23日，阿里云计算宣布启动新一赛季的天池大数据竞赛。大赛将吸引全球新生代数据科学家，为预测手机党购物喜好、余额宝资金流动、时尚穿衣搭配，提供更精准的数据分析模型。
Android应用：横竖屏切换总结
英雄有泪
02-06 1万+
首先，手机横竖长度的悬殊差距，注定了App横竖屏的表现的差异化。老实说，目前绝大多数android的App在产品设计之初都是在竖屏的基础上进行设计的（也就是单手操作），并无专门地去考虑切换横屏后的用户体验。这些App若是允许切换横屏操作，而用户的手机又设置了允许自动旋转，那么用户在使用这些App的时候很可能会经常碰到横屏的情况，结果不言而知，App给用户的体验就有了折扣。 所以，碰到这种情况下，不妨根据设计时针对的屏幕模式，固定App的展示方向，正如很多手机游戏固定只能横屏。
荣耀7周年赵明发公开信：荣耀新品将很快与大家见面
qq_46175823的博客
12-16 173
　　2013 年 12 月 16 日，荣耀品牌正式诞生，而在 2020 年的 12 月 16 日，荣耀成立的第七个年头，荣耀在深圳深业中城，未来新荣耀的全球总部大厦，举行了粉丝活动。 　　新荣耀 CEO 赵明在荣耀 7 周年生日当天发表了一封公开信，表示新荣耀打造的首款新品将很快和大家见面，而荣耀也将在未来继续打造卓越的智能产品。 　　以下是赵明公开信原文： 　　全球的荣耀用户和朋友们： 　　感谢你们一直以来对荣耀的关爱和支持！ 　　今天，荣耀迎来了七周岁生日，而今年荣耀开启全新征程，也让这个..
MaxCompute常见问题总结以及排查方案
weixin_34348174的博客
03-07 1747
计费相关 存储计费：按照存储在 MaxCompute 的数据的容量大小进行阶梯计费。 计算计费：MaxCompute 分按量后付费和按 CU 预付费两种计算计费方式。 按量后付费：按量后付费方式针对 SQL 任务和 MapReduce 任务进行计费。 SQL 任务按量后付费：即 SQL 任务按 I/O 后付费。 MapReduce 按量后付费：即 Map...
阿里云-MaxComputer学习+踩坑 第001天
weixin_43974943的博客
04-23 2784
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、DataWorks是什么？二、MaxComputer是什么？1.产品介绍2.表分区规范3.官方分区文档总结 前言 由于公司（一家蒸蒸日上的小跨境电商公司）业务快速增长，之前的数仓一直在MySQL+TIDB中构建，目前业务支撑遇到瓶颈，公司准备上马数据中台，领导一拍脑袋就是要自建平台，服务器都买了十几台（要在机房吃灰了），最后考虑再三，还是引入现有产品，接触了几家云平台厂商，最后确定使用阿里云的数据平台DataWorks 了
深度学习如何参加阿里的天池比赛和进入天池实验室
sen的博客
12-06 1550
打开天池比赛首页 https://tianchi.aliyun.com/competition/gameList/activeList 默认是进入到Active标签，会列出进行中的比赛 点击某个比赛–>报名参赛 如果想利用天池实验室的资源，打开天池实验室首页 https://tianchi.aliyun.com/notebook-ai/ 1.默认是进入到所有项目标签，会列出所有项目，可以点进去查看或fork 2.点击我的实验室，进入我的个人实验室 ...
阿里巴巴大数据计算平台MaxCompute（原名ODPS）全套攻略（持续更新20171127）
京庐空间
01-04 8306
概况介绍 大数据计算服务(MaxCompute，原名ODPS，产品地址：https://www.aliyun.com/product/odps)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。本文收录了大量的MaxCompute产品介绍、技术
关于MaxCompute的基本了解
lsj960922的博客
01-31 2万+
大数据计算服务（MaxCompute，原名 ODPS）是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 为您提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决海量数据计算问题，有效降低企业成本，并保障数据安全。 同时，DataWorks 和 MaxCompute 关系紧密，DataWorks 为 MaxCompute 提供了一站式的数据同
阿里云MaxCompute（ODPS）常见使用问题（持续更新中）
reading-conference-writing
08-26 2万+
记录MaxCompute（ODPS）常见使用问题
MaxCompute踩坑记录
yf.z的专栏
03-29 230
1. 单字段的大小为8M且不能修改, 可使用gzip压缩方案解决 2. 构建查询SQL时, 数字类型的字段不能使用单/双引号, 否则会有意外惊喜. select * from table where id='123'会把id=124或id=126的查出来
阿里天池jupyter notebook
07-29
阿里天池提供了Jupyter Notebook的支持。你可以在阿里天池平台上使用Jupyter Notebook来进行数据分析和机器学习任务。要在阿里天池上使用Jupyter Notebook，你可以按照以下步骤进行操作： 1. 登录阿里天池平台并...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值