spark
wanmeilingdu
的的
展开
-
Spark中文手册5:Spark之基本概念(3)
转自:http://www.aboutyun.com/thread-11535-1-1.html问题导读1、如何持久化流数据到内存中?2、什么是Checkpointing?3、如何监控应用程序?(一)缓存或持久化和RDD相似,DStreams也允许开发者持久化流数据到内存中。在DStream上使用persist()方法可以自动地持久化DStream中的RDD转载 2016-05-09 21:14:43 · 275 阅读 · 0 评论 -
Spark中文手册11:Spark 配置指南
问题导读1.Spark可以在哪三个地方配置系统?2.如何实现动态加载Spark属性?Spark可以在三个地方配置系统:Spark属性控制大部分的应用参数。 这些属性可以通过SparkConf对象, 或者Java系统属性.环境变量可以为每台机器配置,比如IP地址, 通过每个节点上的conf/spark-env.sh脚本.可同通过log4转载 2016-05-09 21:25:44 · 845 阅读 · 0 评论 -
Spark中文手册10:spark部署:提交应用程序及独立部署模式
问题导读1.spark-submit各个参数的含义是什么?2.集群启动都包含哪些脚本?3.如何实现连接一个应用程序到集群中?1.提交应用程序在Spark bin目录下的spark-submit可以用来在集群上启动应用程序。它可以通过统一的接口使用Spark支持的所有集群管理器 ,所有你不必为每一个管理器做相应的配置。用spark-subm转载 2016-05-09 21:24:48 · 430 阅读 · 0 评论 -
Spark中文手册9:spark GraphX编程指南(2)
问题导读1.GraphX提供了几种方式从RDD或者磁盘上的顶点和边集合构造图?2.PageRank算法在图中发挥什么作用?3.三角形计数算法的作用是什么?Pregel API图本身是递归数据结构,顶点的属性依赖于它们邻居的属性,这些邻居的属性又依赖于自己邻居的属性。所以许多重要的图算法都是迭代的重新计算每个顶点的属性,直到满足某个确定的条件。 一系列转载 2016-05-09 21:23:23 · 479 阅读 · 0 评论 -
Spark中文手册8:spark GraphX编程指南(1)
问题导读1.什么是GraphX?2.如何将Spark和GraphX引入到项目中?3.从一个图中取出顶点特征加入到另外一个图中如何实现?GraphX编程指南GraphX是一个新的(alpha)Spark API,它用于图和并行图(graph-parallel)的计算。GraphX通过引入Resilient Distributed Pro转载 2016-05-09 21:22:10 · 508 阅读 · 0 评论 -
Spark中文手册7:Spark-sql由入门到精通【续】
问题导读1.sqlContext.cacheTable("tableName")与sqlContext.uncacheTable("tableName")它们的作用是什么?2.Spark SQL CLI的作用是什么?3.Spark SQL数据类型有哪些。如何访问它们?性能调优对于某些工作负载,可以在通过在内存中缓存数据或者打开一些实验选项转载 2016-05-09 21:21:07 · 547 阅读 · 0 评论 -
Spark中文手册6:Spark-sql由入门到精通
问题导读1、什么是SparkContext?2、如何配置Parquet?3、如何高效的从Apache Hive中读出和写入数据?(一)开始Spark中所有相关功能的入口点是SQLContext类或者它的子类, 创建一个SQLContext的所有需要仅仅是一个SparkContext。val sc: SparkContext /转载 2016-05-09 21:19:44 · 588 阅读 · 0 评论 -
Spark中文手册2:Spark之一个快速的例子
转自:http://www.aboutyun.com/thread-11484-1-1.html问题导读1、怎样用Spark快速运行一个例子?2、如何理解lines变量?3、如何在NetworkWordCount中找到完整列子?转载 2016-05-09 21:04:51 · 257 阅读 · 0 评论 -
Spark中文手册3:Spark之基本概念
问题导读1、什么是Spark Streaming?2、如何创建StreamingContext对象?3、什么是高级源?转载 2016-05-09 21:08:03 · 609 阅读 · 0 评论 -
Spark中文手册4:Spark之基本概念(2)
转自:http://www.aboutyun.com/thread-11516-1-1.html问题导读1、什么是DStream转换?2、什么是窗口计算?3、怎样最有效的将发生数据到外部系统?转载 2016-05-09 21:12:19 · 419 阅读 · 0 评论 -
Spark中文手册1-编程指南
转自:http://www.aboutyun.com/forum.php?mod=viewthread&tid=11413&extra=page%3D11.Spark如何访问集群?2.有哪几种方式创建RDDs?转载 2016-05-09 21:00:13 · 500 阅读 · 0 评论