![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 85
snwz5588668
这个作者很懒,什么都没留下…
展开
-
spark基本概念
记录一下课堂笔记:定义:spark是一个快速的,通用的分析大数据处理引擎。DAG(有向无环图):在图论中,如果一个有向图无法从任意顶点出发经过若干条边回到该点,则这个图是一个有向无环图(DAG图)。因为有向图中一个点经过两种路线到达另一个点未必形成环,因此有向无环图未必能转化成树,但任何有向树均为有向无环图。DAG可用于对数学和 计算机科学中得一些不同种类的结构进行建模。由...原创 2015-11-12 10:45:00 · 145 阅读 · 0 评论 -
spark部署安装调试
本节记录spark下载-->编译-->安装-->使用首先从主站下载spark源码包(源码包更利于我们学习spark)[url]http://spark.apache.org/downloads.html[/url]注意选择所需要的相对应的spark源码版本,在此我们选择使用spark-1.3.0[img]http://dl2.iteye.com/upload/attachmen...原创 2015-12-02 11:28:33 · 91 阅读 · 0 评论 -
关于Spark的Broadcast解析
[size=medium][b]本文重点关注 数据块切分方法以及P2P下载数据方法[/b][/size]Broadcast(广播)是相对较为常用方法功能,通常使用方式,包括共享配置文件,map数据集,树形数据结构等,为能够更好更快速为TASK任务使用相关变量。期间,曾见过有童鞋用原始日志(log)进行广播,导致集群运行缓慢,诸位童鞋可以引此为戒,其与JAVA的ServletContex...原创 2016-02-20 08:37:51 · 1199 阅读 · 0 评论 -
spark Tungsten-将硬件性能彻底压榨
Tungsten项目将是Spark自诞生以来内核级别的最大改动,以大幅度提升Spark应用程序的内存和CPU利用率为目标,旨在最大程度上压榨新时代硬件性能。Project Tungsten包括了3个方面的努力:[b]Memory Management和Binary Processing:[/b]利用应用的语义(application semantics)来更明确地管理内存,同时消除JVM对...原创 2016-03-08 11:06:17 · 205 阅读 · 0 评论 -
spark 中GC的调优
注:本文转自:[url]http://www.csdn.net/article/2015-06-01/2824823[/url][size=large]按照经验来说,当我们配置垃圾收集器时,主要有两种策略——Parallel GC和CMS GC。前者注重更高的吞吐量,而后者则注重更低的延迟。两者似乎是鱼和熊掌,不能兼得。在实际应用中,我们只能根据应用对性能瓶颈的侧重性,来选取合适的垃圾收集...原创 2016-03-14 11:02:26 · 1130 阅读 · 0 评论 -
Sort-based Shuffle的设计与实现
原文 http://www.cnblogs.com/hseagle/p/3979744.html [size=large][b]概要[/b][/size][size=medium]Spark 1.1中对spark core的一个重大改进就是引入了sort-based shuffle处理机制,本文就该处理机制的实现进行初步的分析。[/size]通过一个小的实验来直观的感...原创 2016-03-15 08:49:25 · 213 阅读 · 0 评论 -
翻译一下spark sql and dataframes
[size=large][b]概述[/b][/size]spark sql 是一个结构化执行的数据模块,它并不像基本的spark rdd操作,spark sql可以提供更多的基于数据操作的接口,而且有更多的优化操作,这里提供了几种方式去个spark sql 交互,DataFrames API 和 Datasets API。[size=large][b]SQL[/b][/size]...原创 2016-03-23 15:20:55 · 156 阅读 · 0 评论