《Spark编程基础》学习笔记

最新推荐文章于 2024-01-10 20:37:41 发布
最新推荐文章于 2024-01-10 20:37:41 发布
阅读量229 收藏
点赞数
分类专栏： # 【Hadoop & Spark】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jcjic/article/details/118685249
版权

文章目录

前言

最好的学便是教，喜欢记录学习过程中的个人收获和数据竞赛经历，遇见更多有趣的灵魂~~啦啦啦 Github开源项目 数分/挖掘学习笔记（含路线）

《Spark编程基础》 教材官网： http://dblab.xmu.edu.cn/post/spark/
上林子雨老师的官网可以下载对应ppt，软件等配套资料

1 大数据技术概述

在这里插入图片描述

第2章 Scala语言基础

在这里插入图片描述

数据闲逛人
关注
专栏目录
RDD----Spark编程读书笔记
梵天的读书笔记
03-09 299
Spark 核心的概念是 Resilient Distributed Dataset (RDD)：一个可并行操作的有容错机制的数据集合。有 2 种方式创建 RDDs：第一种是在你的驱动程序中并行化一个已经存在的集合；另外一种是引用一个外部存储系统的数据集，例如共享的文件系统，HDFS，HBase或其他Hadoop 数据格式的数据源。1. 并行集合并行集合 (Parallelized collect...
《spark编程基础scala版读书笔记》第一章书后问题
ciecus_csdn的博客
07-21 2294
《spark编程基础scala版读书笔记》第一章书后问题1、请阐述大数据处理的基本流程2、请阐述大数据的计算模式及其代表产品3、请列举Hadoop生态系统的各个组件及其功能4、 分布式文件系统HDFS的名称节点和数据节点的功能分别是什么？名称节点：数据节点：5、试阐述MapReduce的基本设计思想 1、请阐述大数据处理的基本流程 大数据处理的基本流程主要包括：数据采集、存储管理、处理分析、结果呈...
Spark编程基础-课堂笔记（一）
jose_M的博客
04-30 384
本文主要对厦门大学《spark》编程基础课程知识点进行记录 大数据4V特性 大量化 Volume 多样化 Variety：数据不只限于结构化数据，目前非结构化数据居多 处理速度快 Velocity：有实时响应的需求 价值密度低 Value 大数据关键技术 数据采集：爬虫工具/ETL工具（抽取 转换 加载） 数据存储与管理：分布式文件系统/分布式数据库/NoSQL数据库 数据处理与...
Spark学习笔记：五、Spark编程基础
松坡的机器学习笔记
06-16 402
一、RDD创建 RDD可以通过两种方式创建： 1、读取一个外部数据集。比如，从本地文件加载数据集，或者从HDFS文件系统、HBase、Cassandra、Amazon S3等外部数据源中加载数据集。Spark可以支持文本文件、SequenceFile文件（Hadoop提供的 SequenceFile是一个由二进制序列化过的key/value的字节流组成的文本存储文件）和其他符合Hadoop I...
Spark编程基础-课堂笔记（二）
jose_M的博客
04-30 283
本文主要对scale语言的基本数据类型，输入输出，控制结构以及数据结构进行介绍 基本数据类型 其中String类型来自java.lang包，其余所有基本类型都来自scala包，例如，Int的全名就是scala.Int，但String的全名是java.lang.String。 字面量 字面量就是直接写在代码里的常量值 // 整数字面量，数字开始于0x或者0X，为十六进制； // 开始于...
Spark学习笔记【基础概念】
qq_33129875的博客
03-18 1442
Spark学习笔记，基础概念。
spark基础--学习笔记
yfq_29的博客
01-10 1218
spark基本概念，Spark的两种部署方式，开发方式local本地模式，standalone集群模式，yarn模式
spark基础的学习笔记
03-29
是基于内存的分布式计算引擎，计算速度非常快，仅仅只是涉及到数据的计算，没有涉及到数据存储。可以对接外部的数据源（比如hdfs,这个时候就需要搭建一个hadoop集群）
spark:spark学习笔记
05-26
【Spark：Spark学习笔记】 Spark，作为大数据处理领域的重要框架，以其高效、易用和弹性伸缩性赢得了广泛赞誉。本笔记将从基础概念出发，深入探讨Spark的核心特性，包括RDD（Resilient Distributed Datasets）、...
读书笔记：Spark编程基础教程参考资料囊括整个spark生态组件的学习基于Scala源自厦大实验室大数据教材.zip
07-22
读书笔记：Spark编程基础教程参考资料囊括整个spark生态组件的学习基于Scala源自厦大实验室大数据教材
Spark—Python学习笔记.zip
02-21
本学习笔记将深入探讨如何利用PySpark进行数据处理和分析，帮助你掌握这一核心技术。 首先，PySpark是Apache Spark与Python的结合，允许开发者用Python编写Spark应用程序。它提供了丰富的数据处理接口，包括RDD...
SparkSpark基础学习笔记(2)
weixin_56731094的博客
06-16 537
SparkSpark基础学习笔记(2)
王五的绩效考核.xml
10-11
王五的绩效考核.xml
FA_HyperLink.xls
10-11
FA_HyperLink.xls
火炬用的76登陆器啊啊啊啊啊
10-11
老版本的适合火炬转生引擎用的
GAPDLL111111111111111111111
10-11
GAPDLL111111111111111111111
Microsoft Project 2007 Guide.doc
10-11
Microsoft Project 2007 Guide.doc
全要素生产率_LP（剔除金融STPT）.dta
最新发布
10-11
全要素生产率_LP（剔除金融STPT）.dta
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据闲逛人

谢谢大嘎喔~ 开心就好

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值