spark 系列文章汇总

最新推荐文章于 2024-10-13 15:54:09 发布
最新推荐文章于 2024-10-13 15:54:09 发布
阅读量201 收藏
点赞数
文章标签： 大数据
原文链接：http://www.cnblogs.com/magj2006/p/4316264.html
版权

源码导读

  spark 源码导读1 从spark启动脚本开始

  spark 源码导读2 进一步窥探Master、Worker启动及通信机制

  spark 源码导读3 进一步理解脚本调用关系

  spark 源码导读5 列举spark引用的框架和算法

  spark 源码导读6 App, Driver 及 Worker的容错恢复

 

  以spark源码为参照分析模式匹配及种类

 

GraphX

  spark 源码导读4 初探Graphx

内核理解

  spark 内核调度理解

 

性能

  spark性能相关参数配置

 

spark 实战数据来源：

  搜狗实验室(Sogou Labs)

 

另外，本文还收集了其它一些很有影响力的博客或网址：

  富贵有定数，学问则无定数。求一分，便得一分  （关于博主：许鹏，花名@徽沪一郎，2000年毕业于南京邮电学院，现就业于爱立信上海，在UDM部门从事相关产品研发，个人关注于Linux 内核及实时计算框架如Storm、Spark等。）

  RDD：基于内存的集群计算容错抽象

  过往记忆

  fxjwind

  岑玉海 （此人最近忙于泡妞，博客更新缓慢）

  colorant

  瞌睡中的葡萄虎

 

视频学习：

  Spark 1.X 大数据平台 （七牛技术总监、spark Contributor之一 陈超老师主讲）

  

转载于:https://www.cnblogs.com/magj2006/p/4316264.html

weixin_34014555
关注
七个pdf理解spark系列_5-Architecture
07-02
GitHub上某位大牛JerryLead对Spark的理解，大量图示，生动形象，总共7个pdf，看完对spark的原理，运行机制以及后续性能调优有很大的帮助，这是第五个pdf，描述了spark任务部署图，Job的提交，逻辑执行图、物理执行图的生成，task的分配，Task的运行等
Spark系列文章专栏
lwgzj的博客
07-05 263
由于之前一直从事互联网的Java开发工作。技术有了一定积累并且自己的知识图谱有关互联网的部分积累比较多了。但是一直就是大数据部分没有机会接触到。刚好最近公司有大数据方向的机会，因此借此机会，积累一些大数据部分的图谱。下面就是系列文章： Spark（一）安装 ...
【精通Spark系列】万事开头难？本篇文章让你轻松入门Spark
大数据小禅的博客
12-06 4050
???? 作者 ：“大数据小禅” ???? **文章简介 **：本篇文章属于Spark系列文章，专栏将会记录从spark基础到进阶的内容，，内容涉及到Spark的入门集群搭建，核心组件，RDD，算子的使用，底层原理，SparkCore，SparkSQL，SparkStreaming等，Spark专栏地址.欢迎小伙伴们订阅???? ???? **文章源码获取 **：与本文相关的安装包，大数据交流群，小伙伴们可以关注文章底部的公众号，点击“联系我”备注对应内容获取。 ???? 欢迎小伙伴们 点赞????、收藏⭐
Spark 系列
suxue1994的博客
09-14 677
首先推荐阅读大佬Spark系列博客：不温卜火 学习笔记 1. 下载安装： *** 使用文档：http://spark.apachecn.org/#/docs/1 *** 官网可能因美国禁令目前无法下载，前往：https://archive.apache.org/dist/spark/spark-2.4.4/ *** 教程参考：https://blog.csdn.net/qq_39290225/article/details/99332056 1.1 JAVA环境 1.2 下载scala：
spark系列文章
weixin_36630761的博客
12-17 393
http://blog.csdn.net/raintungli/article/details/76168258#comments
spark+scala+spark系列文章测试案例
11-05
spark,scala,spark系列文章测试案例，scala语言学习，spark案例，单词统计，RDD转DataFrame,地址：https://blog.csdn.net/2301_79691134/article/details/134174759
Spark 入门实战系列
01-18
Spark 入门实战系列，适合初学者，文档包括十部分内容，质量很好，为了感谢文档作者，也为了帮助更多的人入门，传播作者的心血，特此友情转贴: 1.Spark及其生态圈简介.pdf 2.Spark编译与部署（上）--基础环境搭建....
大数据Spark面试题汇总
04-12
在大数据处理领域，Apache Spark 已经成为了一个重要的计算框架，尤其在实时处理和迭代计算上展现出了显著的优势。以下是一些关于Spark的关键知识点及其详细解释： 1. **Spark的部署模式**： - **Standalone**：...
Spark源码系列（五）分布式缓存
03-03
这一章想讲一下Spark的缓存是如何实现的。这个persist方法是在RDD里面的，所以我们直接打开RDD这个类。它调用SparkContext去缓存这个RDD，追杀下去。它居然是用一个HashMap来存的，具体看这个map的类型是...
Spark系列视频
weixin_30896511的博客
11-15 515
大数据生态圈很大，很多开发者都仅仅接触到某个单一产品。 Spark 是近年来比较流行的大数据计算框架，系统、平台要想用好Spark 这个产品，需要用到很多的产品。 本视频系列主要是为准备入坑大数据的童鞋提供一些入门级别的帮助，希望能够降低掉坑里的可能。 第一讲：Spark_整体介绍 链接:https://pan.baidu.com/s/1dHGl5N-vjFlCB_RsSBQJfQ...
Spark--介绍/简介
IT利刃出鞘的博客
02-27 367
编程接口 其他网址 Spark Dataset介绍和使用_zghgchao-CSDN博客 论RDD、DataSet、DataFrame关系及优劣 - osc_c0usoa3v的个人空间 - OSCHINA - 中文开源技术交流社区 Spark DataSet介绍_象在舞的技术专栏-CSDN博客 简介 Dataset是从Spark 1.6开始引入的一个新的抽象，当时还是处于alpha版本；然而在Spark 2.0，它已经变成了稳定版了。下面是DataSet的官方定义： ...
Spark系列(三)Spark的工作机制
哆啦咪~fo
03-11 5409
什么时候才能回归到看论文，写感想的日子呀~刚刚交完房租的我血槽已空。看了师妹关于Spark报告的PPT，好怀念学生时代开组会的时光啊，虽然我已经离开学校不长不短两个月，但我还是非常认真的翻阅了，并作为大自然的搬运工来搬运知识了。Spark的执行模式1、Local，本地执行，通过多线程来实现并行计算。2、本地伪集群运行模式，用单机模拟集群，有多个进程。3、Standalone，spark做资源调度，...
史上最简单的spark系列教程 | 完结
热门推荐
只有变秃,才能更强
05-07 3万+
《史上最简单的spark系列教程》系列: 与其说是教程不如说是改良后的个人学习笔记|| 教程参考自:《spark官方文档》,《spark快速分析》,《图解Spark核心技术与案例实战》,结合个人开发和记录中的坑,整合而成,教程通俗易懂,摒弃大量难懂的理论知识,整合为代码+精简理论的文章,涵盖Kafka,zookeeper,spark,机器学习等多方位知识,帮助你快速入门大数据和机器学习
Spark 系列1—— Spark简介
weixin_42073629的博客
08-14 218
一、简介 Spark 于 2009 年诞生于加州大学伯克利分校 AMPLab，2013 年被捐赠给 Apache 软件基金会，2014 年 2 月成为 Apache 的顶级项目。相对于 MapReduce 的批处理计算，Spark 可以带来上百倍的性能提升，因此它成为继 MapReduce 之后，最为广泛使用的分布式计算框架。 二、特点 Apache Spark 具有以下特点： 使用先进的 DAG 调度程序，查询优化器和物理执行引擎，以实现性能上的保证； 多语言支持，目前支持的有 Java，Sca
消息队列介绍
weixin_38703379的博客
10-09 444
优点：性能单台（12000+），性能较好，管理界面较丰富。在互联网公司也有较多应用，有多个语言的成熟客户端。优点：性能单台（10万级），模型简单，接口易用。在阿里巴巴大规模应用。优点：性能单台（6000+）成熟，已经在很多公司得到应用。各种协议支持好，有多个语言的成熟客户端。缺点：运维难度大，对ZooKeeper强依赖。缺点：内部机制很难了解，也意味很难定制和掌控。缺点：性能较弱，缺乏大规模吞吐的场景的应用，有江河日下之感。优点：天生分布式性能最好，所以常见大数据领域。缺点：文档少，支持的语言较少。
020 elasticsearch7.10.2 elasticsearch-head kibana安装
最新发布
m0_46695127的博客
10-13 717
020 elasticsearch7.10.2 elasticsearch-head kibana安装
DAMA数据管理知识体系(第11章 数据仓库和商务智能)
没有梦想的咸鱼的博客
10-08 1868
文章将围绕数据仓库的构建与管理展开，探讨如何通过数据仓库实现历史数据的集中存储与分析
43页PPT | 大健康行业BI解决方案
数据矿工-数据化运营博客
10-08 661
大健康行业的BI解决方案在典型场景应用中，通过定制化的数据分析模块和角色仪表盘，为企业CXO、BU head、MKT及Sales Team等核心角色提供了全景式、精准化的业务洞察。从全渠道业绩监测到市场情报分析，从组织效能评估到营销互动跟踪，各核心场景下的数据分析应用实现了对企业运营细节的深度挖掘与实时监控，帮助企业决策者快速把握市场动态，精准定位问题，高效调整策略，推动企业经营目标层层拆解并有效执行，全面加速企业的数字化转型进程。随着数据量的激增，多源数据的归集和整合成为药企数据分析的难点。
spark系列1：spark的前世今生
04-11
这个问题的意思是：b'spark系列1：spark的前世今生。因此，我来回答一下。 Spark是一款高速且通用的分布式计算系统，最初由美国加州大学伯克利分校AMPLab开发。它支持多种编程语言（如Java、Scala和Python）和各种计算模式（如批处理、交互式查询、流式处理和机器学习）。Spark是Hadoop MapReduce的升级版本，可以处理更多类型的工作负载，并且运行速度更快。 在过去几年中，Spark已经获得了广泛的应用和采用，成为了大数据处理领域的热门工具之一。它已经集成到多个大数据平台和应用程序中，包括Apache Hadoop和Amazon Web Services等。 在未来，Spark的发展势头仍将继续增长，成为越来越多数据处理任务的首选工具。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值