MaxCompute-GRAPH可配置参数列表（持续更新）

最新推荐文章于 2021-06-12 17:41:14 发布
最新推荐文章于 2021-06-12 17:41:14 发布
阅读量459 收藏
点赞数
原文链接：https://yq.aliyun.com/articles/90449
版权

基础配置

设置Vertex类

配置：odps.graph.vertex.class
API：GraphJob.setVertexClass()
说明：设置Vertex的实现类，通常使用API设置。

设置Combiner类

配置：odps.graph.combiner.class
API：GraphJob.setCombinerClass()
说明：设置Combiner的实现类，通常使用API设置。

设置Partitioner类

配置：odps.graph.partitioner.class
API：GraphJob.setPartitionerClass()
说明：设置Partitioner的实现类，通常使用API设置。

设置Aggregator类

配置：odps.graph.aggregator.classes
API：GraphJob.setAggregatorClass()
说明：可以设置一个或多个Aggregator实现类，编号从0开始。通常使用API设置。

设置WorkerComputer类

配置：odps.graph.worker.computer.class
API：GraphJob.setWorkerComputerClass()
说明：设置WorkerComputer的实现类，通常使用API设置。

设置Loader类

配置：odps.graph.loader.class
API：GraphJob.setGraphLoaderClass()
说明：设置GraphLoader实现类，通常使用API设置。

配置Loading Resolver类

配置：odps.graph.loading.vertex.resolver.class
API：GraphJob.setLoadingVertexResolverClass()
说明：设置LoadingVertexResolver的实现类，通常使用API设置。

配置Computing Resolver类

配置：odps.graph.computing.vertex.resolver.class
API：GraphJob.setComputingVertexResolverClass()
说明：设置ComputingVertexResolver的实现类，通常使用API设置。

配置最大迭代次数

配置：odps.graph.max.iteration
API：GraphJob.setMaxIteration()
说明：设置最大迭代次数，默认 -1，小于或等于 0 时表示最大迭代次数不作为作业终止条件.

配置Worker的CPU申请量

配置：odps.graph.worker.cpu
API：GraphJob.setWorkerCPU()
说明：设置 Worker CPU，默认 200，表示两个 CPU 核. 取值范围[200, 800]

配置Worker内存申请量

配置：odps.graph.worker.memory
API：GraphJob.setWorkerMemory()
说明：设置 Worker 内存，单位MB，默认 4096. 取值范围[2048, 32768]，即2G~32G。如有特殊需求，请联系ODPS-GRAPH开发人员。

配置输入表信息

配置：odps.graph.input.desc
API：GraphJob.addInput()
说明：请参考javadoc：http://odps.alibaba-inc.com/doc/prddoc/odps_graph/api/index.html

配置输出表信息

配置：odps.graph.output.desc
API：GraphJob.addOutput()
说明：请参考javadoc：http://odps.alibaba-inc.com/doc/prddoc/odps_graph/api/index.html

配置Split Size

配置：odps.graph.split.size
API：GraphJob.setSplitSize()
说明：设置输入的切分大小，单位 MB，默认 64。当没有配置odps.graph.worker.num情况下，切分的个数决定了worker的个数。

配置Worker的个数

配置：odps.graph.worker.num
API：GraphJob.setNumWorkers()
说明：设置作业并行执行的节点数，最大值4000。 默认节点数由getSplitSize()和作业输入数据量计算得到。
此接口与 setSplitSize(long) 配合使用，可以提高数据的载入速度。 假设 setNumWorkers 为 workerNum, setSplitSize 为 splitSize, 总输入字节数为 inputSize, 则输入被切分后的块数 splitNum = inputSize / splitSize，workerNum 和 splitNum 之间的关系：

若 splitNum == workerNum，每个 worker 负责载入一个 split;
若 splitNum > workerNum，每个 worker 负责载入一个或多个 split;
若 splitNum < workerNum, 每个 worker 负责载入零个或一个 split;
因此，应调节 workerNum 和 splitSize，在满足前两种情况时，数据载入比较快。迭代阶段只调节 workerNum 即可。

Failover相关配置

配置等待所有Worker启动完毕最长时间

配置：odps.graph.fuxi.job.max.wait.time
API：无
备注：单位是分钟，默认值：15

配置Load后马上执行checkpoint的时间限制

配置：odps.graph.load.checkpoint.limit.time
API：无
说明：
单位：毫秒，默认值：600000（10分钟）
如果load时间超过了该值，则load完成后会立即执行一次checkpoint。

配置checkpoint执行频率

配置：odps.graph.checkpoint.superstep.frequency
API：GraphJob.setCheckpointSuperstepFrequency()
说明：
默认不设置表示按系统默认的方式做checkpoint，即间隔10分钟做一次checkpoint，如果设置，合法值是大于或等于0的整数， 0表示不进行checkpoint，大于0，表示期望每隔n轮superstep做checkpoint，若n次superstep的时间小于系统checkpoint 时间间隔（10分钟），也仍然等到10分钟后再做checkpoint.

配置checkpoint执行周期

配置：odps.graph.checkpoint.time.interval
API：无
说明：单位：秒，默认值：600（10分钟）
如果没有配置odps.graph.checkpoint.superstep.frequency，则checkpoint执行周期以改参数为准；如果配置了odps.graph.checkpoint.superstep.frequency且配置值非0，则checkpoint执行周期为superstep达到odps.graph.checkpoint.superstep.frequency的整数倍且执行间隔大于该参数。
该参数从sprint17开始开放配置。

配置Failover最大重试次数

配置：odps.graph.max.attempts
API：无
说明：默认值为3

高级Feature

配置AggregatorOwnerPartitioner

配置：odps.graph.aggregator.owner.partitioner.class
API：GraphJob.setAggregatorOwnerPartitionerClass()
说明：设置AggregatorOwnerPartitioner的实现类，默认是HashAggregatorOwnerPartitioner.class

配置是否启用Tree Aggregator

配置：odps.graph.use.tree.aggregator
API：GraphJob.setUseTreeAggregator()
说明：是否启用Tree Aggregator，待补充介绍文档。

配置Tree Aggregator 深度

配置：odps.graph.aggregator.tree.depth
API：GraphJob.setAggregatorTreeDepth()
说明：启用Tree Aggregator情况下，Tree的深度。默认是2

配置是否启动广播机制

配置：odps.graph.broadcast.message.enable
API：GraphJob.setBroadcastMessageEnable()
说明：是否启用广播消息机制，待补充介绍文档。

启用多线程compute

配置：odps.graph.computing.threads
API：N/A
说明：采用多线程执行vertex.compute()，默认是1，即单个线程

其他配置项

配置Job优先级

配置：odps.graph.job.priority
API：GraphJob.setJobPriority()
说明：设置Graph作业的优先级，默认是9，取值范围[0,9]，0为最高，9为最低。下个版本考虑默认值改为0.

配置cache的资源

配置：odps.graph.cache.resources
API：GraphJob.addCacheResources()
说明：设置cache资源，通过采用命令行jar -resources来指定。

配置加入classpath的资源

配置：odps.graph.cache.resources
API：GraphJob.addCacheResourcesToClassPath()
说明：配置classpath资源，通常采用命令行 jar -libjars来指定。

启用资源预留机制

配置： odps.graph.fuxi.job.resource.all_or_nothing
API: 无
说明：  设置为true，作业提交后，如当前资源不足，Fuxi会为该作业预留资源。

Graph-LOCAL 配置项

配置local run的时候下载数据的条数

配置：odps.mapred.local.record.download.limit
API:无
说明：默认100条，最大可设置上限为1万条

请在评论中给予反馈，谢谢！

weixin_34209406
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
max 2018 max creation graph 介绍
weixin_37298380的博客
08-10 2341
1创建物体 左边是参数 需要输入radius float 也就是mesh的半径参数 float 值 右侧是mesh 输出口，需要链接一个out put geometry 的节点，才能输出成mesh 把链接好的文件保存成 .maxtool    在max创建菜单上 ------  Max Creation Graph 然后就能看到自己保存的文件了。 在max场景里，点击按钮，就会生成一...
MaxCompute 图计算开发指南
weixin_34289454的博客
04-08 248
快速入门step by step MaxCompute Studio 创建完成MaxCompute Java Module后，即可以开始开发Graph了。 代码示例 在examples目录下有graph的一些代码示例，可参考示例熟悉Graph程序的结构。 编写Graph 在module的源码目录即src>main>javanewMa...
基于MaxCompute的图计算实践分享-解析图加载过程
weixin_33738555的博客
01-23 223
免费开通大数据服务：https://www.aliyun.com/product/odps 一、前言 MaxCompute Graph 是基于飞天平台实现的面向迭代的图处理框架，为用户提供了类似于 Pregel 的编程接口。MaxComputeGraph（以下简称 Graph ）作业包含图加载和计算两个阶段： 加载，将存储在表中的数据载入到内存中，...
MaxCompute参数调优
weixin_33974433的博客
03-14 1318
1 背景及目的对于ODPS上的运行时间长的任务来说，针对不同的问题有不同的优化方法（详见其他章节）。但是对于一些特殊场景的任务来说，除了从业务上可以进行优化之外，还需要通过一些辅助的参数设置才能达到比较好的优化效果。因此，ODPS提供了很多性能参数供开发人员使用。2 参数介绍2.1 资源参数ODPS处理一个任务主要分为三个阶段：Map、Reduce、Join。如果处理的数据量...
MaxCompute_函数
weixin_43875878的博客
06-12 979
4)去除字符串的首尾空格。(1)获取字符串的长度。(1)获取当前系统时间。(1)查看支持的函数。(1)时间戳转时间。(2)时间转时间戳。(3)日期转字符串。(2)数据类型转换。
MaxComputer 使用客户端配置
weixin_30484247的博客
08-20 652
ODPS实验 MaxComputer 申请后，得到项目名称跟AK ,AK 密码（我这里是实验，所以容器时间有限） 下载ODPS 控制台客户端，配置config文件，进行对项目访问 这是阿里提供的客户端文件 解压后得到如下文件，并放入C盘 根据具体需要访问的项目进行配置 下载java jdk 到jdk官网去下载， 1.6版...
Compute Graph
尘埃落定
05-05 786
计算图 这些节点和主题的图表，以及它们的连接方式，经常被称为计算图。 计算图的可视化，可以帮助我们了解有哪些节点，以及它们如何互相沟通。 ROS提供了一个工具，叫做rqt_graph，可以显示系统的计算图。 ...
MaxCompute 图计算用户手册（上）
weixin_34242509的博客
04-08 379
概要 ODPS GRAPH是一套面向迭代的图计算处理框架。图计算作业使用图进行建模，图由点(Vertex)和边(Edge)组成，点和边包含权值(Value)，ODPS GRAPH支持下述图编辑操作： 修改点或边的权值； 增加/删除点； 增加/删除边； 备注： 编辑点和边时，点与边的关系需要用户维护。 通过迭代对图进行编辑、演化，最终求解出结果，典...
基于MaxCompute的图计算实践分享-图加载过程
chengli1824的博客
04-09 206
一、前言 MaxComputeGraph 是基于飞天平台实现的面向迭代的图处理框架，为用户提供了类似于 Pregel 的编程接口。MaxCompute Graph（以下简称 Graph ）作业包含图加载和计算两个阶段： 加载，将存储在表中的数据载入到内存中，以点和边的形式存在； ...
MxGraph从入门到精通之3：设置图形样式
祈晴小义
06-19 5032
文章目录设置节点样式创建指定样式的节点更新已有节点样式常用样式汇总shapefillColor 通过上一节 MxGraph从入门到精通之2：HelloWorld程序解析，我们已经知道通过MxGraph绘制图形的核心步骤，绘制出来的图形默认的样式如下： 我们可以在创建节点的时候通过参数来创建指定样式的节点或者调用graph的setCellStyle来更新节点的样式。 设置节点样式 创建指定样式的节点 在上一节中helloworld示例程序插入顶点的方法可以传入第八个参数，来指定创建出来的顶点的样式，如下：
MaxComputeSql性能调优
weixin_34128839的博客
10-18 365
转载自xiaorui 部分用户(尤其对外输出)使用MaxCompute(原Odps)时，由于对产品的使用层面和执行层面了解程度不同，导致提交的任务执行时间过长、占用了较多集群资源；严重的会导致失败、不仅需要投入支持同学精力协助解决、也影响了用户正常业务。 合并整理部分性能提升方法方便支持用户查询和优化Sql，提高效率；部分需要原来手...
阿里云-MaxComputer学习+踩坑 第001天
weixin_43974943的博客
04-23 2815
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、DataWorks是什么？二、MaxComputer是什么？1.产品介绍2.表分区规范3.官方分区文档总结 前言 由于公司（一家蒸蒸日上的小跨境电商公司）业务快速增长，之前的数仓一直在MySQL+TIDB中构建，目前业务支撑遇到瓶颈，公司准备上马数据中台，领导一拍脑袋就是要自建平台，服务器都买了十几台（要在机房吃灰了），最后考虑再三，还是引入现有产品，接触了几家云平台厂商，最后确定使用阿里云的数据平台DataWorks 了
MaxCompute的分区配置和使用
weixin_34009794的博客
12-15 579
创建表的时候，可以设置普通列和分区列。在绝大多数情况下，可以把普通列理解成数据文件的数据，而分区列可以理解成文件系统的目录。所以表的存储空间的占用，讲的是普通列的空间占用。分区列虽然不直接存储数据，但是如同文件系统里的目录，可以起到方便数据管理，并在计算只指定具体的分区的时候，只查询对应分区减少计算量的作用。 分区列的设置 创建分区表的语法可以参考这里。...
阿里巴巴大数据计算平台MaxCompute（原名ODPS）全套攻略（持续更新20171127）
京庐空间
01-04 8341
概况介绍 大数据计算服务(MaxCompute，原名ODPS，产品地址：https://www.aliyun.com/product/odps)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。本文收录了大量的MaxCompute产品介绍、技术
odps是什么?
weixin_34101229的博客
07-28 2020
ODPS（Open Data Processing Service），是阿里巴巴通用计算平台提供的一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案，现在已更名为MaxCompute，MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。 同时，...
一文快速了解MaxCompute
weixin_33696106的博客
03-11 1170
很多刚初次接触MaxCompute的用户，面对繁多的产品文档内容以及社区文章，往往很难快速、全面了解MaxCompute产品全貌。同时，很多拥有大数据开发经验的开发者，也希望能够结合自身的背景知识，将MaxCompute产品能力与开源项目、商业软件之间建立某种关联和映射，以快速寻找或判断MaxCompute是否满足自身的需要，并结合相关经验更轻松地学习和使用产品。本文将站在一个更宏观的视角来分主题...
基于Web实现在线绘画拓扑图[GraphEditor]
江湖事，技术了
09-19 2万+
网络拓扑图本来已经整理有一段时间了，一次项目会议写集中边界监控系统的时候上级要求使用可以在系统中画网络拓扑图，没办法当时找不到现有的程序来参考 只能硬着头皮，顶着风险来完成[当然来边界安全的，当然要安全型高啊]，一同事找到一些源码来分析，当然了有源码分析比自己想的效率要快得多 但是也很让人头痛，怎样才能实现，怎样才能嵌入到Web项目中？ 这个集控那个项目已近完成有一段时间了，最近呢一些网友要
基于MaxCompute的图计算实践分享-常见问题解决及优化指南
bengsa2291的博客
03-15 845
免费开通大数据服务：https://www.aliyun.com/product/odps 常见问题FAQ Q：Graph 能支持多少节点的进行计算? A：默认最多1000个节点，通过配置odps.graph.worker.num，可以使用多达3000个节点   Q：Graph 单个节点支持多少内存? A：默认内存范围为[2048, 32768] 单位为M，通过配置odps.gra
mxGraph进阶(一)mxGraph教程-开发入门指南
热门推荐
IT全栈 华强工作室
05-01 11万+
mxGraph教程-开发入门指南概述 mxGraph是一个JS绘图组件适用于需要在网页中设计/编辑Workflow/BPM流程图、图表、网络图和普通图形的Web应用程序。mxgraph下载包中包括用javascript写的前端程序,也包括多个和后端程序(java/C#等)集成的例子。以下是mxgraph应用的几个例子。（你可以到www.longboo.com的主页下载mxgraph和更多
S7-GRAPH编程详解：从入门到实战
特别关注了S7-GRAPH特有的地址和参数设置，如FB参数的调整，包括执行性选项、接口描述设置和背景数据块的管理。 调试是编程过程中必不可少的环节，文档指导用户如何有效地使用S7-GRAPH进行程序调试（5.1）。最后，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值