Spark
零度anngle
情商不是八面玲珑的圆滑,而是德行具足后的虚心、包容和自信;成熟不是单纯到复杂的世故,而是复杂回归简单的超然;觉悟不是对世事的无所谓,而是对无能为力之事的坦然接受;成功不是追求别人眼中的最好,而是把自己能做的事情做得最好。热爱生活,热爱编程,热爱Java,喜欢探索,纸上得来终觉浅,绝知此事要躬行,愿与你一起在技术的海洋中成长!
博客:http://blog.csdn.net/zmx729618
展开
-
Hadoop2.X及Spark 1.5.0集群搭建
主要内容操作系统环境准备Hadoop 2.4.1集群搭建Spark 1.5.0 集群部署注:在利用CentOS 6.5操作系统安装spark 1.5集群过程中,本人发现Hadoop 2.4.1集群可以顺利搭建,但在Spark 1.5.0集群启动时出现了问题(可能原因是64位操作系统原因,源码需要重新编译,但本人没经过测试),经本人测试在ubuntu 10.04 操作系统上可以顺利成功搭转载 2017-06-15 16:14:13 · 853 阅读 · 0 评论 -
Hadoop2.X Yarn框架原理及运作机制
.1 YARN 基本架构YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMaster负责单个应用程序的管理。1转载 2017-06-16 09:25:19 · 4283 阅读 · 0 评论 -
Spark运行原理
主要内容Spark运行方式Spark运行原理解析本节内容及部分图片来自: http://blog.csdn.net/book_mmicky/article/details/25714419http://blog.csdn.net/yirenboy/article/details/47441465这两篇文件对Spark的运行架构原理进行了比较深入的讲解,写得非常好,建转载 2017-06-19 15:39:38 · 877 阅读 · 0 评论 -
Spark本地开发与远程调试环境搭建
先决条件已安装好Spark集群,本例子中使用的是spark-1.5.0. 安装方法参见:http://blog.csdn.net/lovehuangjiaju/article/details/48494737已经安装好Intellij IDEA,本例中使用的是Intellij IDEA 14.1.4,具体安装方法参见:http://blog.csdn.net/lovehuangjiaju/转载 2017-06-21 15:24:31 · 6963 阅读 · 3 评论