Spark
文章平均质量分 59
siyuetian1943
天将降大任于斯人也,必先灭其QQ、封其微博、删其微信、去其视频、收其电脑、夺其手机、摔其pad、断其WIFI、剪其网线、折其香烟、夺其酒瓶、使其百无聊赖,然后静坐、思过、锻炼、读书、明智、开悟、精进……中枪已躺。
展开
-
Spark之FAQ
1.Spark与Hadoop是什么关系?答: Spark是一个兼容Hadoop数据的快速的一般处理引擎。它可以通过Yarn框架或者Spark的独立模式运行于Hadoop集群上。同时,它也可以处理HDFS、Hbase、Cassandra、Hive以及其它任何Hadoop输入格式的数据。为了解决复杂的批数据处理(batch data processing),基于历史的交互式查询(interacti翻译 2014-12-22 15:53:46 · 614 阅读 · 0 评论 -
java8卸载之后,别的版本不识别
jdk8的一些文件默认位置和之间的jdk版本有些不一样,所以卸载8要重新装其他的版本时可能会出现找不到dll文件的提示,解决方法新鲜出炉啦~~原创 2015-03-04 20:42:23 · 1782 阅读 · 1 评论 -
Spark重要知识点快速理解
1.官方定义 a MapReduce-like cluster computing framework designed for low-latency iterative jobs and interactive use from an interpreter.2.体系结构3.一些重要概念的解析(1) RDD (resilient d原创 2014-12-28 17:53:11 · 1074 阅读 · 0 评论 -
Spark应用程序运行的日志存在哪里
spark应用程序运行日志转载 2015-05-21 14:00:07 · 16024 阅读 · 1 评论 -
spark不同模式下应用程序运行的日志存放位置
spark不同运行模式下,应用程序运行的输出日志位置原创 2015-05-21 16:55:58 · 10509 阅读 · 0 评论 -
scala eclipse sbt 应用程序开发
转载自:http://blog.csdn.net/oopsoom/article/details/38363369 由于Scala有一个比较完备的Eclipse IDE(Scala IDE for Eclipse), 对于不想从eclipse迁移到Iea平台的Dev来说,如何方便、快速、有效得在Eclipse下编译打包开发Scala应用程序尤为重要。Sbt是类似Mave转载 2015-06-18 11:25:47 · 663 阅读 · 0 评论 -
搭建Spark集群环境,编译软件部分的笔记
1.hadoop模块(版本为2.7) 增加 hadoop 2.7 支持。在 pom.xml 中新建一个 profile 放在 hadoop-2.4 下面,为: <profile> <id>hadoop-2.7</id> <properties> <hadoop.version>2.7.0</hadoop.version> <protobuf转载 2015-06-08 10:53:22 · 558 阅读 · 0 评论