![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
scalad
github地址:https://github.com/scalad
展开
-
spark集群环境下Lost task 0.0 in stage 10.0 (TID 17, 10.28.23.202): java.io.FileNotFoundException
spark从当前目录加载文件报错,Lost task 0.0 in stage 10.0 (TID 17, 10.28.23.202): java.io.FileNotFoundException,明显的,找不到本地的文件,但是本地的文件是存在的。scala> val file = sc.textFile("test.txt")15/12/09 13:22:36 INFO MemorySt原创 2015-12-09 13:24:57 · 10038 阅读 · 1 评论 -
Spark快速入门指南(Quick Start Spark)
这个文档只是简单的介绍如何快速地使用Spark。在下面的介绍中我将介绍如何通过Spark的交互式shell来使用API。Basics Spark shell提供一种简单的方式来学习它的API,同时也提供强大的方式来交互式地分析数据。Spark shell支持Scala和Python。可以通过以下方式进入到Spark shell中。1转载 2015-12-27 15:13:43 · 853 阅读 · 0 评论 -
Initial job has not accepted any resources; check your cluster UI to ensure that workers are registe
spark在提交任务时,出现如下错误:15/03/26 22:29:36 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory15/03/2转载 2015-12-08 19:00:46 · 3010 阅读 · 0 评论 -
spark RDD transformation和action操作
spark RDD transformation和action1.启用spark-shell,使用根目录下的test.txt作为文件的示例scala> scres30: org.apache.spark.SparkContext = org.apache.spark.SparkContext@68fda8scala> val file = sc.textFile("test.t原创 2015-12-09 14:14:48 · 1057 阅读 · 0 评论 -
Spark RDD Transformation 详解
这几天学习了Spark RDD transformation 和 action ,做个笔记记录下心得,顺便分享给大家。下面的表格列出了目前所支持的转换和动作(详情请参见 RDD API doc):转换(transformation) 转换含义map(func)返回一个新分布式数据集,由每一个输入元素经过func函数转换后组成f转载 2016-01-05 13:54:35 · 1384 阅读 · 0 评论 -
spark-submit工具参数说明
执行时需要传入的参数说明Usage: spark-submit [options] [app options]参数名称含义--master MASTER_URL可以是spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-clien转载 2016-01-04 19:31:40 · 816 阅读 · 0 评论 -
使用 Scala 语言开发 Spark 应用程序
本文旨在通过具有实际意义的案例向读者介绍如何使用 Scala 语言开发 Spark 应用程序并在 Spark 集群上运行。本文涉及的所有源数据都将从 HDFS(Hadoop Distributed File System)读取,部分案例的输出结果也会写入到 HDFS, 所以通过阅读本文,读者也会学习到 Spark 和 HDFS 交互的一些知识引言在当前这个信息时代里,大数据所蕴含的转载 2016-03-06 19:48:28 · 3352 阅读 · 0 评论