Centos7安装spark（Hadoop伪分布下,以及spark的基本搭建）

最新推荐文章于 2023-11-13 18:19:04 发布
VIP文章 最新推荐文章于 2023-11-13 18:19:04 发布
阅读量2.8k 收藏 7
点赞数 1
文章标签： spark hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45672631/article/details/121927065
版权

参考博客

沉淀，再出发——在Hadoop集群的基础上搭建Spark - 精心出精品 - 博客园 (cnblogs.com)

博客上说明Hadoop伪分布也行

一、前提

1.java环境，jdk1.8及其以上，或者open角度看8及其以上，以便scala的安装

2.安装ssh（远程登陆服务器）这里我用xshell

3.Hadoop集群（这里在伪分布下实现）

4.安装scala根据博客安装的是2.11.8

https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz

5.安装spark根据博客安装的是2.3.0

最低0.47元/天 解锁文章
qq_45672631
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Linux（centos7）部署spark
LLMUZI123456789的博客
04-03 555
Spark部署模式主要有4种：Local模式（单机模式）、Standalone模式（使用Spark自带的简单集群管理器）、Spark On Yarn模式（使用YARN作为集群管理器）和Spark On Mesos模式（使用Mesos作为集群管理器）。下面介绍Local模式（单机模式）、跟Spark On Yarn模式（使用YARN作为集群管理器）的简单部署。spark on local模式以及spark on yarn模式部署完成。选择想要安装的版本下载，然后通过Linux客户端Xshell等上传到主机。
spark-2.3.0-bin-hadoop277-without-hive.tgz
01-14
spark2.3.0 without hive 编译版本，用于Hive on Spark 环境搭建 ./dev/make-distribution.sh --name "hadoop277-without-hive" --tgz "-Pyarn,hadoop-provided,hadoop-2.7,parquet-provided,orc-provided" -Dhadoop.version=2.7.7
超详细！CentOS 7 + Hadoop3.0.0 搭建伪分布式集群
weixin_30685047的博客
03-21 530
超详细！CentOS 7 + Hadoop3.0.0 搭建伪分布式集群 ps：本文的步骤已自实现过一遍，在正文部分避开了旧版教程在新版使用导致出错的内容，因此版本一致的情况下照搬执行基本不会有大错误。如果按本文步骤进行的时候出事了，可以鼠标选中博客页面右侧的目录导航看看最后一部分的意外出事的坑点解决方案。 准备linux主机环境 一、安装虚拟机 下载地址： VMware workstation...
CentOS7+Hapdoop2.8+spark2.1完全分布式平台的搭建经历
pangsg的博客
03-29 700
写在前面个人心得与经验：1、关于全分布和伪分布的区别：全分布是指在不同物理主机上搭建平台。伪分布是指一台物理主机中有多台虚拟机，这些虚拟机搭建的平台就是伪分布式平台。2、关于平台版本选择：尽量选择成熟的版本，不要太旧也不要选择最新版本的。版本太旧会出现一些异常，可能是它平台本身存在的问题，也可能会出现与现在的一些主流框架不兼容的情况。最新版本的话会在配置文件上有所不同，网上搜到的资料不也是特别多，...
从CentOS到Hadoop（Linux CentOS 7 安装配置Hadoop伪分布过程详解）
ADwenwen的博客
07-31 3944
目录 零、前言 一、虚拟机安装及CentOS系统配置 二、CentOS系统及网络配置 三、SSH无密码登录 四、Java安装及环境配置 五、Hadoop0.20.0伪分布环境安装 六、运行示例 七、参考与感谢 零、前言 （一）、前言 最近在做wikipedia的东西，需要大规模处理数据，因此就需要使用hadoop工具操作。一开始想安装的linux版本是ubuntu 14和ha...
伪分布式Hadoop+Spark安装与配置，并实现WordCount
qq_45803593的博客
12-13 3080
在我们学习时更多的是用伪分布式环境来进行操作，以下就是伪分布式Hadoop+Spark安装与配置 centos：7.4 jdk：1.8 hadoop：2.7.2 scala：2.12.13 spark：3.0.1 1、配置虚拟机 下载centos-7，安装虚拟机 1、配置静态ip vi /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no # 修改为 static BOOTP
spark-3.0.0-bin-without-hadoop.tgz
12-30
spark
spark-2.3.0-bin-hadoop2-without-hive
03-21
spark-2.3.0-bin-hadoop2-without-hive.spark2.3版本源码编译不含hive jar包的安装包。用于安装hive on spark
Spark的Standalone部署
无他，唯程序尔
01-29 2954
基于原来部署过Hadoop 2.7.1的5台虚拟机（ubuntuServer1~ubuntuServer5）来进行Spark的Standalone部署Spark。 下载的是不含Hadoop的版本：spark-1.6.0-bin-without-hadoop; 将spark安装到各机器上的/usr/lib目录下。
hive on spark集群环境部署（彻底摆脱做毕设没环境）
最新发布
m0_64893323的博客
11-13 1051
hive on spark环境部署
CentOS Linux中搭建Hadoop和Spark集群详解.docx
06-06
CentOS Linux中搭建Hadoop和Spark集群详解,Hadoop是一个开源的可运行于大规模集群上的分布式文件系统和运行处理基础框架。其擅长于在廉价机器搭建的集群上进行海量数据(结构化与非结构化)的存储与离线处理。Hadoop...
spark-2.1.0-bin-without-hadoop.tgz
06-20
Linux系统 大数据开发 spark-2.1.0-bin-without-hadoop.tgz
spark-2.4.0-bin-without-hadoop.tgz
06-18
spark的安装包，主要用于安装spark。Apache Spark是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。
spark-2.1.0-bin-without-hadoop
10-26
上传大小限制了，分为两段，part2去我的资源中找一下。
spark-2.3.1-bin-hadoop2-without-hive.tgz
01-09
使用maven重新编译spark2.3.1源码，用以实现hive on spark
spark-3.2.0-bin-hadoop3-without-hive
04-24
spark-3.2.0-bin-hadoop3-without-hive
centOS 6.10 hadoop+spark+hive+HBase集群搭建
07-31
hadoop+spark+hive Linux centos大数据集群搭建，简单易懂，从0到1搭建大数据集群
集群环境搭建-Centos+kafka+zookeeper+hadoop+Spark
12-19
通过VirtualBox安装多台虚拟机，实现集群环境搭建。 优势：一台电脑即可。 应用场景：测试，学习。 注意事项：请严格按照文档操作，作者已经按照文档操作实现环境搭建。 内附百度网盘下载地址，有hadoop+zookeeper+...
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
七月在线七月在线## Note, this file is written by cloud-init on first boot of an instance
centos7安装spark
05-28
以下是在 CentOS 7 上安装 Spark 的步骤： 1. 首先，确保系统已安装 Java 8 或更高版本。可以通过以下命令检查 Java 版本： ``` java -version ``` 2. 下载 Spark 安装包，可以从官方网站上下载：https://spark.apache.org/downloads.html 3. 解压缩 Spark 安装包： ``` tar xzf spark-2.4.5-bin-hadoop2.7.tgz ``` 4. 将解压缩后的 Spark 文件夹移动到 /usr/local 目录下： ``` sudo mv spark-2.4.5-bin-hadoop2.7 /usr/local/spark ``` 5. 配置环境变量，打开 /etc/profile 文件，添加以下内容： ``` export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin ``` 6. 执行以下命令使环境变量生效： ``` source /etc/profile ``` 7. 启动 Spark： ``` spark-shell ``` 如果一切顺利，你应该能够看到 Spark 的 shell 界面，并可以开始使用 Spark。 注意：在安装 Spark 之前，确保系统已经安装了 Scala。如果没有安装，可以通过以下命令安装： ``` sudo yum install scala ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值