Spark修炼之道（进阶篇）——Spark入门到精通：第二节 Hadoop、Spark生成圈简介

最新推荐文章于 2020-12-01 23:31:52 发布
最新推荐文章于 2020-12-01 23:31:52 发布
阅读量1.5w 收藏 18
点赞数 5
分类专栏： Spark Hadoop技术 Spark修炼之道 文章标签： hadoop spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lovehuangjiaju/article/details/48573413
版权
本文深入探讨Hadoop与Spark生态圈，涵盖了Hadoop中的重要组件如HDFS、MapReduce、HBase、Hive等，以及Spark的生态系统，包括Spark SQL、Streaming、MLlib和GraphX。此外，还介绍了Spark与Hadoop的融合，以及Spark的R接口和其他开源项目，如Astro和Apache Zeppelin。
摘要由CSDN通过智能技术生成

作者：周志湖
网名：摇摆少年梦
微信号：zhouzhihubeyond

本节主要内容

  1. Hadoop生态圈
  2. Spark生态圈

1. Hadoop生态圈

原文地址：http://os.51cto.com/art/201508/487936_all.htm#rd?sukey=a805c0b270074a064cd1c1c9a73c1dcc953928bfe4a56cc94d6f67793fa02b3b983df6df92dc418df5a1083411b53325
下图给出了Hadoop生态圈中的重要产品：
这里写图片描述
图片来源：http://www.36dsj.com/archives/26942

下面对各产品进行简要介绍

1 Hadoop

Apache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来，已成为一个完整的生态系统，众多开源工具面向高度扩展的分布式计算。

支持的操作系统：Windows、Linux和OS X。

相关链接：http://hadoop.apache.org

2 Ambari

作为Hadoop生态系统的一部分，这个Apache项目提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。有些开发人员想把Ambari的功能整合到自己的应用程序当中，Ambari也为他们提供了充分利用REST（代表性状态传输协议）的API。

支持的操作系统：Windows、Linux和OS X。

相关链接：http://ambari.apache.org

3 Avro

这个Apache项目提供了数据序列化系统，拥有丰富的数据结构和紧凑格式。模式用JSON来定义，它很容易与动态语言整合起来。

支持的操作系统：与操作系统无关。

相关链接：http://avro.apache.org

4 Cascading

Cascading是一款基于Hadoop的应用程序开发平台。提供商业支持和培训服务。

支持的操作系统：与操作系统无关。

相关链接：http://www.cascading.org/projects/cascading/

5 Chukwa

Chukwa基于Hadoop，可以收集来自大型分布式系统的数据，用于监控。它还含有用于分析和显示数据的工具。

支持的操作系统：Linux和OS X。

相关链接：

最低0.47元/天 解锁文章
zhouzhihubeyond
关注
专栏目录
Spark修炼之道（进阶篇）——Spark入门到精通：第一节 Spark 1.5.0集群搭建
摇摆少年梦的技术博客
12-28 3万+
作者：周志湖 网名：摇摆少年梦 微信号：zhouzhihubeyond本节主要内容 操作系统环境准备 Hadoop 2.4.1集群搭建 Spark 1.5.0 集群部署 注：在利用CentOS 6.5操作系统安装spark 1.5集群过程中，本人发现Hadoop 2.4.1集群可以顺利搭建，但在Spark 1.5.0集群启动时出现了问题（可能原因是64位操作系统原因，源码需要重新编译，但本人没经
Spark修炼之道（进阶篇）——Spark入门到精通：第十节 Spark SQL案例实战（一）
摇摆少年梦的技术博客
02-05 9642
作者：周志湖1. 获取数据本文通过将github上的Spark项目git日志作为数据，对SparkSQL的内容进行详细介绍 数据获取命令如下：[root@master spark]# git log --pretty=format:'{"commit":"%H","author":"%an","author_email":"%ae","date":"%ad","message":"%f"}' >
Hello Spark! | Spark，从入门到精通
weixin_34015860的博客
09-11 342
欢迎阅读美图数据技术团队的「Spark，从入门到精通」系列文章，本系列文章将由浅入深为大家介绍 Spark，从框架入门到底层架构的实现，相信总有一种姿势适合你，欢迎大家持续关注：） 什么是 Spark？ Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架，是专为大规模数据处...
Spark修炼之道（进阶篇）——Spark入门到精通：第三节 Spark Intellij IDEA开发环境搭建...
weixin_34279246的博客
09-19 218
作者：周志湖 网名：摇摆少年梦 微信号：zhouzhihubeyond 本节主要内容 Intellij IDEA 14.1.4开发环境配置 Spark应用程序开发 1. Intellij IDEA 14.1.4开发环境配置 Intellij IDEA 功能十分强大，能够开发JAVA、Scala等相关应用程序，在依赖...
spark入门_Hello Spark! | Spark，从入门到精通
weixin_39984442的博客
12-01 196
欢迎阅读美图数据技术团队的「Spark，从入门到精通」系列文章，本系列文章将由浅入深为大家介绍 Spark，从框架入门到底层架构的实现，相信总有一种姿势适合你，欢迎大家持续关注：) / 什么是 Spark？ / Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架，是专为大规模数据处理而设计的快速通用的大数据处理引擎及轻量级的大数据处...
Spark修炼之道（进阶篇）——Spark入门到精通：第七节 Spark运行原理
摇摆少年梦的技术博客
09-22 2万+
本节主要内容 Spark运行方式 Spark运行原理解析 本节内容及部分图片来自： http://blog.csdn.net/book_mmicky/article/details/25714419 http://blog.csdn.net/yirenboy/article/details/47441465 这两篇文件对Spark的运行架构原理进行了比较深入的讲解，写得非常好，建议大家认真看一
Spark修炼之道（进阶篇）——Spark入门到精通：第四节 Spark编程模型（一)
热门推荐
摇摆少年梦的技术博客
09-20 3万+
作者：周志湖 网名：摇摆少年梦 微信号：zhouzhihubeyond 本节主要内容 Spark重要概念 弹性分布式数据集（RDD） 1. Spark重要概念 本节部分内容源自官方文档：http://spark.apache.org/docs/latest/cluster-overview.html （1）Spark运行模式 目前最为常用的Spark运行模式有： - l
Spark修炼之道（进阶篇）——Spark入门到精通：第十节 Spark Streaming（一)
摇摆少年梦的技术博客
11-21 1万+
本节主要内容本节部分内容来自官方文档：http://spark.apache.org/docs/latest/streaming-programming-guide.html#mllib-operations Spark流式计算简介 Spark Streaming相关核心类 入门案例 1. Spark流式计算简介Hadoop的MapReduce及Spark SQL等只能进行离线计算，无法满足实时性要
Spark修炼之道（进阶篇）——Spark入门到精通：第五节 Spark编程模型（二)
weixin_33854644的博客
09-20 144
作者：周志湖 网名：摇摆少年梦 微信号：zhouzhihubeyond 本文主要内容 RDD 常用Transformation函数 1. RDD 常用Transformation函数 （1）union union将两个RDD数据集元素合并，类似两个集合的并集 union函数参数： /** * Return t...
Spark从入门到精通
07-14
上百节课详细讲解，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。 本课程主要讲解的内容包括：Scala编程、Hadoop与Spark集群搭建、Spark核心编程、Spark内核源码深度剖析、Spark性能调优、Spark SQL、Spark Streaming。 本课程的最大特色包括： 1、代码驱动讲解Spark的各个技术点（绝对不是照着PPT空讲理论）； 2、现场动手画图讲解Spark原理以及源码（绝对不是干讲源码和PPT）； 3、覆盖Spark所有功能点（Spark RDD、Spark SQL、Spark Streaming，初级功能到高级特性，一个不少）； 4、Scala全程案例实战讲解（近百个趣味性案例）； 5、Spark案例实战的代码，几乎都提供了Java和Scala两个版本和讲解（一次性同时精通Java和Scala开发Spark）； 6、大量全网唯一的知识点：基于排序的wordcount，Spark二次排序，Spark分组取topn，DataFrame与RDD的两种转换方式，Spark SQL的内置函数、开窗函数、UDF、UDAF，Spark Streaming的Kafka Direct API、updateStateByKey、transform、滑动窗口、foreachRDD性能优化、与Spark SQL整合使用、持久化、checkpoint、容错与事务。 7、多个从企业实际需求抽取出的复杂案例实战：每日uv和销售额统计案例、top3热卖商品统计案例、每日top3热点搜索词统计、广告计费日志实时黑名单过滤案例、热点搜索词滑动统 计案例、top3热门商品实时统计案例 8、深度剖析Spark内核源码与Spark Streaming源码，给源码进行详细的注释和讲解（史上最细致源码讲解） 9、全面讲解Spark、Spark SQL、Spark Streaming的性能调优，其中包括全网唯一的Shuffle性能调优（详细讲解性能调优的各个技术点） 10、涵盖Spark两个重要版本，Spark 1.3.0和Spark 1.5.1的讲解（走在Spark最前沿，涵盖最新高级特性） 一、Scala编程详解 二、课程环境搭建 三、Spark核心编程 四、Spark内核源码深度剖析 五、Spark性能优化 六、Spark SQL 七、Spark Streaming
Spark修炼之道（进阶篇）——Spark入门到精通：第六节 Spark编程模型（三)
摇摆少年梦的技术博客
09-21 1万+
本节主要内容 RDD transformation（续) RDD actions 1. RDD transformation（续)（1）repartitionAndSortWithinPartitions(partitioner) repartitionAndSortWithinPartitions函数是repartition函数的变种，与repartition函数不同的是，repartition
Spark修炼之道——Spark学习路线、课程大纲
weixin_34295316的博客
08-19 487
课程内容 Spark修炼之道（基础篇）——Linux基础（15讲）、Akka分布式编程（8讲） Spark修炼之道（进阶篇）——Spark入门到精通（30讲） Spark修炼之道（实战篇）——Spark应用开发实战篇（20讲） Spark修炼之道（高级篇）——Spark源码解析（50讲） 部分内容会在实际编写时动态调整，或补充、或...
Spark修炼之道（高级篇）——Spark源码阅读：第二节 SparkContext的创建
weixin_34221112的博客
10-25 236
博文推荐：http://blog.csdn.net/anzhsoft/article/details/39268963，由大神张安站写的Spark架构原理，使用Spark版本为1.2，本文以Spark 1.5.0为蓝本，介绍Spark应用程序的执行流程。 本文及后面的源码分析都以下列代码为样板 import org.apache...
Spark修炼之道（高级篇）——Spark源码阅读：第一节 Spark应用程序提交流程
weixin_34113237的博客
10-19 422
作者：摇摆少年梦 微信号： zhouzhihubeyond spark-submit 脚本应用程序提交流程 在运行Spar应用程序时，会将spark应用程序打包后使用spark-submit脚本提交到Spark中运行，执行提交命令如下： root@sparkmaster:/hadoopLearning/spark-1.5.0-b...
Hadoop与Spark生态实战指南：从入门到精通
"Hadoop+Spark生态系统操作与实战指南，作者余辉，由清华大学出版社出版，是一本针对Hadoop和Spark的详细学习资料，适合大数据从业者和初学者。书中涵盖了Hadoop与Spark生态系统的原理和实战应用，包括Apache和CDH两...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值