Spark 安装设置记录

最新推荐文章于 2022-04-24 13:08:02 发布
最新推荐文章于 2022-04-24 13:08:02 发布
阅读量938 收藏
点赞数
分类专栏： java基础 linux 文章标签： Spark 安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bolg_hero/article/details/10183365
版权

配置好openfire服务器，没配置好的请参考我的上一篇博客

1、下载spark_2_6_3.tar.gz


2、解压运行Spark，/opt/Spark/Spark start

截图如下：




落叶翩翩
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop2.7.6和spark-2.3.0以及scala环境搭建
chy2z的专栏
05-28 5010
1 java1.8环境配置 安装目录不要有空格，否则后面配置hadoop很麻烦   参考 jdk1.8配置 2 scala环境配置   scala的版本很多，但是spark的官网告诉我们spark-2.3.0使用2.11.x   scala下载地址， 我下载的是 scala-2.11.12.msi     新建SCALA_HOME：D:\Soft\scala     Path后面追加: %SCAL...
spark安装1
08-08
1. **RDD（弹性分布式数据集）**：RDD是Spark中最基本的数据抽象，它是不可变的、分区的记录集合，分布在集群的各个节点上。RDD支持多种操作，如转换和行动，同时具备容错机制。 2. **DAG（有向无环图）**：DAG反映...
Win7+Spark2.6.3代码部署
shm10的专栏
08-23 2293
Win7+Spark2.6.3代码部署 一．机子配置： OS：Win7（64位） Eclipse：3.6.2 JAVA（SDK）:1.6.0_24 ANT：1.8.2   二．准备工作： Spark2.6.3（Source Code）下载 svnco http:
Spark_2_6_3
04-03
Spark聊天沟通工具，一些著名国内外软件外包公司内部使用，业务沟通软件
windows下安装hadoop2.6和spark2.3.3需要的安装包
Chao_Qing的专栏
07-10 501
1.hadoop2.6.5 2.spark2.3.3-2.6 3.java8
Spark安装
weixin_45676733的博客
04-24 4955
Spark安装——3.安装Hadoop环境 提示：所写文章仅供自己记录安装过程，无任何其他目的。所借鉴的文章，侵权请告知。 文章目录Spark安装——3.安装Hadoop环境前言一、创建hadoop用户二、更新apt1.确认系统版本三、安装SSH、配置SSH无密码登陆总结 前言 进行Spark的安装所需要的一系列操作。安装Linux系统、Java环境和Hadoop环境。 提示：以下是本篇文章正文内容，下面案例可供参考 一、创建hadoop用户 如果你安装 Ubuntu 的时候不是用的 “hadoop”
Spark安装使用教程PDF
10-19
Spark 安装使用教程 PDF Spark 是一个基于内存的计算引擎，可以快速地处理大量数据。下面是 Spark 安装使用教程 PDF 中的知识点总结： 1. Spark 概述 Spark 是一个开源的计算引擎，可以快速地处理大量数据。Spark...
spark-2.2.2安装流程
05-06
转换(Transformations) (如：map, filter, groupBy, join等)，Transformations操作是Lazy的，也就是说从一个RDD转换生成另一个RDD的操作不是马上执行，Spark在遇到Transformations操作时只会记录需要这样的操作，并...
spark集群安装
10-15
spark集群安装搭建，step by step，详细记录整个安装过程。
spark toolsssss
10-07
标题"spark toolsssss"可能指的是Spark相关的工具或工件，可能包括Spark Shell（交互式命令行环境）、Spark Submit（提交应用程序的工具）、Spark History Server（用于查看已完成作业的历史记录）以及各种开发工具...
实操：VRRP配置实验演练演示.mp4
07-09
基于华为模拟器ENSP
基于深度强化学习的钢琴和声自动自适应系统.pdf
07-09
基于深度强化学习的钢琴和声自动自适应系统.pdf
实操：MSTP配置演练演示.mp4
07-09
基于华为模拟器ENSP
IMG_20240709_145418.jpg
07-09
IMG_20240709_145418.jpg
2024年欧洲静脉溶液（胶体）市场主要企业市场占有率及排名.docx
07-09
2024年欧洲静脉溶液（胶体）市场主要企业市场占有率及排名.docx
定岗定编基本原理与操作方法.ppt
07-09
定岗定编基本原理与操作方法.ppt
前后端分离系统的源代码片段或完整项目
最新发布
07-09
这是一个基于SpringBoot+Vue3的前后端分离的项目，麻雀虽小，五脏俱全，开箱即用！ 这先粗略描述一下它的前后端。JNPF开发平台的前端采用的是Vue.js，这是一种流行的前端JavaScript框架，用于构建用户界面。 后端采用SpringBoot，一种基于Java的开源框架，用于简化Spring应用的初始搭建以及开发过程。SpringBoot通过自动配置和约定大于配置的原则，简化了Spring应用的配置和开发。 此外，它采用的是MyBatis-Plus作为持久层框架，它是一个功能强大的MyBatis扩展，可以大大简化数据库操作的开发。 Vue3前后端分离的低代码开发框架 这个平台对于初级开发者是比较友好的，除了开发者手册可以解决90%以上的问题，如果遇到解决不了的，也有官方的交流群体，里面有大佬会解决这些。 在通用平台里，国内做的比较好的里，JNPF是一个，和所有低代码/无代码不同的是，它可以通过可视化的操作自动生成“全栈代码”，前端Vue3，基于代码生成器可以生成前后端代码；且代码可读性强，可以进行二次代码编辑和编译。不信你可以试试看。 页面搭建涵盖开发、
spark sql安装配置
07-28
安装和配置Spark SQL需要以下步骤： 1. 下载Spark：首先需要下载Spark的安装包。 2. 配置环境变量：将Spark的安装路径添加到系统的环境变量中，以便可以在任何位置使用Spark。 3. 配置spark-env.sh：在Spark的安装目录中，找到spark-env.sh文件并进行配置。这个文件包含了一些Spark的运行参数和环境变量的设置。 4. 配置works：在Spark的安装目录中，找到works文件并进行配置。这个文件用于配置Spark的集群管理器。 5. 配置历史服务器：如果需要使用Spark的历史服务器功能，可以进行相关配置。 6. Spark整合Hive的MetaStore：如果需要将Spark与Hive整合使用，需要配置Spark与Hive的元数据仓库。 7. 启动Spark：根据需要选择启动Spark的方式，可以是在本地环境下启动，也可以是在Standalone模式下启动。 8. 查看Spark Web接口位置：Spark提供了Web接口用于监控和管理Spark应用程序，可以查看Spark Web接口的位置。 需要注意的是，Spark在运行过程中可能需要读取Hive和HDFS的配置信息，所以需要将hive-site.xml、core-site.xml和hdfs-site.xml文件拷贝到Spark的conf目录下，以便Spark可以正确读取相关配置信息。\[2\]\[3\] #### 引用[.reference_title] - *1* *2* [Spark SQL配置记录总结-20230410](https://blog.csdn.net/u010503464/article/details/130061457)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [Spark Sql 安装](https://blog.csdn.net/weixin_33881753/article/details/92443668)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值