- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 YARN资源调度策略
侵删! YARN虽然是从MapReduce发展而来，但其实更偏底层，它在硬件和计算框架之间提供了一个抽象层，用户可以方便的基于YARN编写自己的分布式计算框架，而不用关心硬件的细节。由此可以看出YARN的核心功能：资源抽象、资源管理（包括调度、使用、监控、隔离等等）。从某种程度上说YARN类似于IaaS。YARN的基本概念不再赘述。一...
2018-09-30 15:45:07
697
原创 oozie是什么
oozie是什么？一、前言 我的业务数据在Oracle服务器中存着，在我进行离线任务计算时，需要用到存储于Oracle中的业务数据。夸张点说，我的离线计算任务将持续有一到两个钟头。在我进行离线计算之前，参与计算的业务数据要保证是最新的。你要让我在计算时查询数据库获取？你怕是要搞事情哦。 能持续有一到两个钟头的离线计算任务,当然是不可能只是一次MapReduce或者一次Spark能搞定的...
2018-09-30 11:07:20
987
转载 Linux定时任务Crontab命令详解
转载于 https://www.cnblogs.com/YangJieCheng/p/7991660.html 侵删!!!linux 系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。另 外, 由于使用者自己也可以设置计划任务，所以， Linux 系统也提供了使用者控制计划任务的命令 :crontab ...
2018-09-29 16:58:08
229
原创 oozie4.3.1编译
oozie编译一、版本oozie版本：4.3.1JDK：1.8HADOOP：2.7.7hive：hivepig：0.16.0sqoop：1.4.7spark：2.3.0hbase：0.94.27tomcat：8.0.53二、编译前需要修改的地方root pom.xmljdk版本修改 <properties> <targe
2018-09-29 14:44:43
739
转载 Spark开发性能调优
文章转载于：https://blog.csdn.net/vinfly_li/article/details/79415342 侵删 版权声明： https://blog.csdn.net/vinfly_li/article/de...
2018-09-06 16:46:49
268
windows-hadoop-bin-2.0.0.zip
2018-05-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人