大数据
gakkiSG
www.xxxxx.com
展开
-
阿里ODPS架构与SQL过程
阿里ODPS架构分为1.客户端、2.接入层、3.逻辑层、4.存储|计算层。本文声情并茂(滑稽)的介绍一下各层功能架构。大家可以脑补YARN+HBase+hive或其他大数据产品,希望对大家有所帮助,如有勘误望不吝赐教。原创 2017-02-26 17:42:00 · 7741 阅读 · 0 评论 -
小抄:UDTF&UDAF示例
UDAF对应一行输入,forward多行输出 UDTF对应统计量的计算与统计信息的逻辑处理,返回一条结果UDAF,UDTF小抄原创 2017-03-01 16:39:11 · 665 阅读 · 0 评论 -
ODPS Tunnel download
Tunnel download多线程下载tunnel download -threads 查看并修改POLICY策略组 编写policy的json文件 修改策略组 set ProjectProtection=true with限制下载行数 Tunnel download -limit下载行、列分隔符 tunnel download -rd -fd指定表中时间所属时区tunnel download -tz原创 2017-02-28 16:47:46 · 3976 阅读 · 0 评论 -
ODPS之Tunnel上传下载
上传目录 Tunnel help upload查看上传命令参数设置 tunnel help upload; tunnel upload -threads; tunnel upload -dbr -mbr; tunnel upload -s; tunnel upload -rd -fd; tunnel upload -ni; tunnel upload -tz;原创 2017-02-28 01:53:51 · 10454 阅读 · 1 评论 -
MapReduce优化
对Hadoop,MapReduce的优化主要在四个方面原创 2016-09-30 10:13:51 · 957 阅读 · 0 评论 -
分布式调度系统的比较
一些调度系统的比较原创 2020-09-08 22:29:47 · 8337 阅读 · 1 评论 -
YARN
YARN原理介绍YARN是hadoop2.x增加的资源管理器在hadoop1.x中,JobTracker负责接收taskTracker的heartbeat,得到资源使用,任务运行信息。细点讲的话,jobtracker要将作业分解为task,进行分配并对作业进行监控。与此同时它还要负责资源调度。 因此需要对它进行功能拆分,增强集群的扩展性、可靠性、高效性原创 2016-09-25 21:59:21 · 264 阅读 · 0 评论