Big Data
VIP_Neo
暂无
展开
-
CentOS7中安装Hadoop2.6.4,能够正常启动,但datanode的数目为0的解决方法
在Workstation12 中创建了3个安装了CentOS7.0的虚拟机,其中一个作为主节点master,两个作为从节点slave,各种准备环境搞好后安装了Hadoop2.6.4,各种配置文件啥的都弄好了,初始化也successful了,但是在主结点上执行启动命令后,却在master:50070和master:8088上看不到datanode,在网上尝试了各种方法都没起作用,最终应该是修改了/e原创 2016-04-08 14:57:18 · 2779 阅读 · 1 评论 -
Spark:一个高效的分布式计算系统
转载:http://tech.uc.cn/?p=2116 概述 什么是Spark Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存转载 2016-05-04 10:03:12 · 430 阅读 · 0 评论 -
spark action 操作(1)
下面介绍spark的几个action操作: 1、first(),返回RDD中的第一个元素(不排序)。 def first(): T // Return the first element in this RDD. 2、count(),返回RDD中的元素数量。 def count(): Long //Return the numb原创 2016-05-26 22:19:19 · 553 阅读 · 0 评论