spark第5天

最新推荐文章于 2020-12-10 10:05:48 发布
最新推荐文章于 2020-12-10 10:05:48 发布
阅读量159 收藏
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014381464/article/details/79062501
版权

发现按照之前论坛文章来没有安装spark和hadoop。。
按照这篇博文来操作后，由于去下载的最新的spark和Hadoop，对于我的jdk来说跟不上
文章里的版本是jdk1.8.0_101，我是1.8.0_131，比他还新，所以尝试用文章中的spark和Hadoop版本
可以做一个对比

项目文章我
jdk1.8.0_1011.8.0_131
scala2.10.62.10.6
spark1.6.21.6.2
Hadoop2.6.42.6.4

其中spark是pre-build的版本，即pre-build for Hadoop2.6，是编译好了可以直接用。如果下载spark源码的话需要自己手动编译。下载好直接解压到盘根目录下即可。同时，Hadoop也是下载的已编译好的版本。

安装完成后
这里写图片描述

接下来找个spark程序跑一下吧

代码_c
关注
专栏目录
spark相关jar包
06-14
5. **GraphX**：Spark的图计算框架，用于处理图数据。对应的jar包是`spark-graphx_2.x.x.jar`。 6. **Hadoop相关库**：Spark通常运行在Hadoop YARN或HDFS之上，因此需要Hadoop的相关jar包，如`hadoop-client.jar`、...
spark初始 (一)
sun_code的博客
06-07 194
spark初识（一）： 1、官网的spark包中pre-build with user provider与pre-build for Apache hadoop3.2什么区别？ 2、spark是否使用是否必须安装hadoop？ 3、第一个wordcount例子提交集群 开始解惑(单纯个人理解)： 1、spark的下载包区别，spark是否使用是否必须安装hadoop？ 我的理解是两个包（with user provider与没有）区别不是太大，假如 使用搭建spark集群的话都能使用，注意版本是否与had
Spark快速入门指南 – Spark安装与基础使用
LLy_Alex的博客
02-28 997
Spark快速入门指南 – Spark安装与基础使用 Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spark 正如其名，最大的特点就是快（Lightning-fast），可比 Hadoop MapReduce 的处理速度快 100 倍。此外，Spark 提供了简单易用的 API，几行代码就能实现 WordCount。本教程主要参考官网快速入门教程，介绍了
Spark入门 - 2 Spark安装和集群部署
CMSurprise的博客
07-25 2861
安装Scala版本选择Spark官方对配套的Scala版本有规定，所以要根据自己的实际情况来选择Scala版本。因此首先去Spark官网下载Spark，再根据要求下载对应版本的Scala。在http://spark.apache.org/docs/1.6.2/中有一句提示：Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API
spark本地开发环境搭建（maven + scala + java）
克念的blog
06-23 1528
开发工具和软件版本信息 IDEA 2019.2 JAVA 1.8 Scala 2.11.12 Spark 2.4.3 Hadoop 2.7.7 Windows ...
linux下spark的python编辑_LINUX下快速安装Spark[原创]
weixin_39557813的博客
12-10 124
Spark作为一种通用且高性能的计算框架，不仅在性能上相对于hadoop mapreduce有了很大的提升；在易用性上也运超hadoop, 不只提供了map/reduce计算接口，还提供了大量其他实用的接口，使得编写分布式程序更加迅速高效。Spark目前提供了Standalone/Yarn/Mesos几种安装模式，其中Standalone模式最为方便快捷。在这种模式下，Spark使用自由资源管理框...
spark考试练习题含答案.rar
06-22
5. **Transformation与Action**：Spark操作主要分为两类：转换（Transformation）和动作（Action）。转换定义了数据处理逻辑，而动作触发实际计算。 二、Spark编程模型 1. **Spark Shell**：交互式的命令行工具，...
Spark训练营第一期问题汇总1
最新发布
08-03
在Spark训练营第一期的问题汇总中，我们聚焦于Spark的核心特性和使用，特别是与数据处理相关的部分。以下是对几个关键问题的详细解答： 1. **Spark读取MySQL等外部数据源的默认分区数**： 当使用DataFrameReader....
Spark视频第5课_深入理解Spark RDD&Dataframe;
12-25
机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识...
Spark面试2000题系列第5期参考答案
03-17
里面详细总结了spark面试的题目，很详细，希望对面试spark的同学有所能帮助
Spark编译安装
幸福de人生的博客
05-21 425
Spark环境搭建 权威： http://spark.apache.org https://github.com/apache/spark 源码 下载安装包： (1)、官网 pre-build 预编译 我们的要求是Spark必须是自己编译的 选择源码 选tgz，就是tar.gz (2) github (3) git clone https://github.com/apache/sp...
spark云计算环境下的大数据
u014381464的博客
12-11 3783
spark
spark快速大数据分析
u014381464的博客
04-06 764
序spark是一个通用计算框架。spark是一个大一统的软件栈。spark是大数据处理引擎。—————————前言spark主要有三个优点：spark好用，高级API剥离了对集群本身的关注，可以专注于计算本身。spark很快，支持交互式使用和复杂算法。spark是通用引擎，可以用于各种运算：sql查询、文本处理、机器学习（MLib机器学习库）等。—————————spark数据分析导论spark是...
spark快速大数据分析（3）
u014381464的博客
05-07 587
spark官方文档中的快速入门指南：http://spark.apache.org/docs/latest/quick-start.html本书的github仓库：https://github.com/databricks/learning-spark__________________________________________RDD基础spark核心概念、核心抽象弹性分布式数据集Resil...
spark快速大数据分析（2）
u014381464的博客
04-07 408
spark下载与入门spark shell其他shell工具只能使用单机的硬盘和内存来操作数据，而spark shell可以用来与分布式存储在许多机器的内存或者硬盘上的数据进行交互，并且处理过程的分发由spark自动控制完成。spark支持许多语言版本，此处交互式shell部分只考虑Python版本（PySpark Shell）和Scala版本（Spark-sehll）。进入PySpark She...
spark——linux
u014381464的博客
03-04 363
尝试在linux系统上运行spark。找了一篇文章，没有具体安装步骤，但是后面的代码段还挺清晰的，没有利用到intellij，直接用的spark-she'll，出来的"scala>"后面写代码。马住尝试一下在win上和linux上都可以试一试。最后还有spark streaming和spark应用程序。16年1月份的，还是有点早。http://www.powerxing.com/spark-...
spark第6天
u014381464的博客
01-19 254
实例创建新RDDRDD通过Hadoop inputformats（比如说HDFS文件系统）或transforming其他RDD来创建。在spark source directory中的README文档新建一个新的RDD。利用spark-shell提供的sc（spark content）来读取这个README文档，通过方程“textFile”，返回一个数组包含文档中的各个行。这样就创建了一个新的RD
spark第7天-linux
u014381464的博客
03-23 251
下载jdk进入jdk官方下载地址，下载java se 7，按照教材选择的比较简单的rpm出现插曲Sorry, you must accept the License Agreement before downloading，仔细看上方有需要勾选的accept the license默认下载到下载文件夹里，把它搬到了/opt/java文件夹中，注意sudo权限问题，以及可以直接sudo -s进入ro...
Spark实时数据分析实战：第二版
5. **MLlib（机器学习库）**：Spark提供了MLlib库，支持多种机器学习算法，包括分类、回归、聚类、协同过滤等。读者将学习如何构建和训练模型，以及如何使用Pipeline进行模型流水线操作。 6. **GraphX（图计算）**...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值