spark
time_exceed
这个作者很懒,什么都没留下…
展开
-
spark history server学习
原文:http://bit1129.iteye.com/blog/2174673 本文包括如下内容:Spark History Server的作用 配置Spark History Server 运行Spark History Server 查看Spark程序的运行信息 Spark History Server的作用 在 运行Spark应用程序的时候,driver会提供一个webUI用于展转载 2016-11-04 10:41:05 · 721 阅读 · 0 评论 -
spark sql group by 出现问题
hiveContext.sql("select time,count(*) from page_click group by id").collect.foreach(println)//报错org.apache.spark.sql.AnalysisException: expression 'page_click.`time`' is neither present in the group原创 2016-11-09 19:06:38 · 11586 阅读 · 2 评论 -
Spark中的资源调度
Spark中,每个Application对应一个SparkContext。对于SparkContext之间的调度关系,取决于Spark的运行模式。对Standalone模式而言,Spark Master节点先计算集群内的计算资源能否满足等待队列中的应用对内存和CPU资源的需求,如果可以,则Master创建Spark Driver,启动应用的执行。宏观上来讲,这种对应用的调度类似于FIFO策略。在Me转载 2016-11-01 19:38:48 · 873 阅读 · 0 评论 -
Apache Spark 的资源管理和 YARN 的 App 模型
Apache Spark 的资源管理和 YARN 的 App 模型 原文地址:http://blog.cloudera.com/blog/2014/05/apache-spark-resource-management-and-yarn-app-models/ 一个关于在YARN下运行 Spark 和 MapReduce 如何管理资源的简单介绍 应用 Executors Active Dr转载 2016-11-01 19:39:45 · 434 阅读 · 0 评论 -
spark sql中的sqlcontext与hivecontext区别
很困惑这两者有什么区别,然后谷歌。 One of Sparks’s modules is SparkSQL. SparkSQL can be used to process structured data, so with SparkSQL your data must have a defined schema. In Spark 1.3.1, SparkSQL implements dataf原创 2016-11-14 20:11:14 · 5528 阅读 · 2 评论 -
spark MLLib简介
Machine Learning Library (MLlib) Guide MLlib is Spark’s machine learning (ML) library. Its goal is to make practical machine learning scalable and easy. At a high level, it provides tools such as:ML A翻译 2016-11-15 11:13:32 · 466 阅读 · 0 评论 -
Spark在爱奇艺的应用实践
http://files.meetup.com/16395762/Spark%20in%20iQiyi.pdf转载 2016-11-26 18:27:08 · 454 阅读 · 0 评论