Win10安装配置Spark3.0.2+单机版hadoop+JDK并运行实例+安装运行Docker

最新推荐文章于 2023-11-06 16:58:47 发布
最新推荐文章于 2023-11-06 16:58:47 发布
阅读量1.4k 收藏 6
点赞数 4
文章标签： hadoop spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZN_COME/article/details/117167474
版权

文章目录

1.安装JDK

可以去官网https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html下载所需要的版本
也可以直接白嫖，因为下载官网下载要注册登陆！
配置环境变量
新建环境变量：JAVA_HOME
新建环境变量
将%JAVA_HOME%\bin添加进PATH中
在这里插入图片描述
测试：cmd里面输入Javac 如果出现以下情况说明安装正常
在这里插入图片描述
至此，JDK安装完毕（简单吧!)
这里温馨提醒一下：由于后期安装hadoops时要用到JDK安装的绝对路径，所以安装JDK的路径名最好中间不要有空格，否则会报一下奇怪的错误，会直接导致Hadoop启动失败

2.安装hadoop

1.下载hadoop-3.0.0下载地址：
http://archive.apache.org/dist/hadoop/core/
在这里插入图片描述
在这里插入图片描述
下载完毕后，解压hadoop压缩包到指定路径（不要太复杂）
在这里插入图片描述
配置hadoop环境：
新建环境变量：HADOOP_HOME
在这里插入图片描述
在PATH中添加：
%HADOOP_HOME%\bin
%HADOOP_HOME%\sbin
在这里插入图片描述
检查hadoop环境是否配置成功：
输入hadoop version
在这里插入图片描述
进入E:\hadoop\hadoop-3.0.0\etc\hadoop配置hadoop相关配置文件在这里插入图片描述
core-site.xml

<configuration>
  <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
   </property>
<!-- 缓存存储路径 -->
	<property>
        <name>hadoop.tmp.dir</name>
        <value>/app/hadooptemp</value>
    </property>
 </configuration>

hdfs-site.xml
在安装目录的根目录E:\hadoop\hadoop-3.0.0创建data目录，作为数据存储路径：（路经以自己的安装路径为准）

在data目录下创建datanode目录；
在data目录下创建namenode目录；
在这里插入图片描述

<configuration>
	<!-- 这个参数设置为1，因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
	<property> 
     <name>dfs.permissions</name> 
     <value>false</value> 
  </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/E:/hadoop/hadoop-3.0.0/data/namenode</value>
   </property>
   <property>
		<name>fs.checkpoint.dir</name>
		<value>/E:/hadoop/hadoop-3.0.0/data/snn</value>
	</property>
	<property>
		<name>fs.checkpoint.edits.dir</name>
		<value>/E:/hadoop/hadoop-3.0.0/data/snn</value>
	</property>
	   <property>
       <name>dfs.datanode.data.dir</name>
       <value>/E:/hadoop/hadoop-3.0.0/data/datanode</value>
   </property>
</configuration>

mapred-site.xml

<configuration>
<property>
       <name>vix.mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
        <name>vix.yarn.resourcemanager.address</name>
        <value>basecoalmine:18040</value>
    </property>
    <property>
        <name>vix.yarn.resourcemanager.scheduler.address</name>
        <value>basecoalmine:1800</value>
    </property>>

</configuration>

修改E:\hadoop\hadoop-3.0.0\etc\hadoop\hadoop-env.cmd配置，(路径以自己的安装路径为准)

  找到 set JAVA_HOME=%JAVA_HOME%  替换为 set JAVA_HOME=C:\java\jdk1.8.0_131

在这里插入图片描述
替换bin目录文件
前往https://github.com/luk-qianliu/winutils-master下载bin目录下的编译文件，然后选择对应版本替换安装目录下bin中的所有文件（这步很重要！！！）
在这里插入图片描述
完成以上操作，hadoop配置全部完成
启动hadoop
首次启动需要格式化文件系统，在bin目录下，打开命令窗口执行： .\hdfs namenode -format
在这里插入图片描述
格式化完成后，在进入到sbin目录下，执行 start-all.cmd 启动服务
在这里插入图片描述
成功启动了四个服务：
在这里插入图片描述
至此，hadoop成功安装！
测试hadoop——运行mapreduce例子计算圆周率
在启动了hadoop后，进入E:\hadoop\hadoop-3.0.0\share\hadoop\mapreduce目录，输入命令：hadoop jar hadoop-mapreduce-examples-3.0.0.jar pi 20 30
在这里插入图片描述
最后得到输出结果：
在这里插入图片描述

3.安装spark

Spark下载地址：
http://spark.apache.org/downloads.html
在这里插入图片描述
下载完成后，将压缩包解压至E:\spark目录（根据自己需要安装路径）
在这里插入图片描述
配置Spark环境变量
新建环境变量：SPARK_HOME：E:\spark\spark-3.0.2-bin-hadoop3.2
在这里插入图片描述
添加PATH：
%SPARK_HOME%\bin
%SPARK_HOME%\sbin
在这里插入图片描述
测试Spark环境变量是否配置成功

打开cmd，输入命令：spark-shell
在这里插入图片描述
至此，Spark安装成功！

4.anaconda配置spark

打开 anaconda prompt ，输入命令：pip install findspark
在这里插入图片描述
验证和使用
导入库文件：
import findspark
findspark.init()
导入你要使用的pyspark库：
from pyspark import *
在这里插入图片描述
运行测试实例：
1.als.py
cmd进入E:\spark\spark-3.0.2-bin-hadoop3.2\bin目录
输入：spark-submit E:\spark\spark-3.0.2-bin-hadoop3.2\examples\src\main\python\als.py
在这里插入图片描述
最后得到运算结果：
在这里插入图片描述
2.pi.py
cmd进入E:\spark\spark-3.0.2-bin-hadoop3.2\bin目录
输入：spark-submit E:\spark\spark-3.0.2-bin-hadoop3.2\examples\src\main\python\pi.py 或者
输入：run-example SparkPi 20 可修改迭代次数
在这里插入图片描述
在这里插入图片描述
输出结果：
在这里插入图片描述
在这里插入图片描述

5.安装Docker

引言
Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器或Windows 机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。

环境准备
1.1 开启win10的Hyper-V
控制面板 -> 程序 -> 启用或关闭Windows功能 -> 选中Hyper-V
确定后，会提示重启电脑，完成功能的设置
在这里插入图片描述
1.2进入任务管理器看虚拟化是否已启用（一般Win10系统的都支持虚拟化）
在这里插入图片描述
下载安装
2.1 下载Docker for Windows
官网地址：https://docs.docker.com/docker-for-windows/install/#download-docker-for-windows
在这里插入图片描述
一直点击 Next，安装路径根据自己路径更改，点击 Finish 完成安装。
启动并使用
3.1启动Docker
安装完成不会自动启动，需要在桌面找到鲸鱼小图标：双击启动

在这里插入图片描述
启动成功后，在隐藏菜单栏会出现白色小鲸鱼图标：
在这里插入图片描述
这里贴出一个启动遇到的坑：
首先在Windows功能中勾选：
在这里插入图片描述
在启动Docker时会提示以下信息：
在这里插入图片描述
通过查阅资料得知我们使用的WSL2版本老了,需要我们手动更新WSL2版本,我们根据提示去微软官网下载最新版的wsl2安装后即可正常打开。下载地址：https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi
通过提示完成WSL2的版本更新后，可以成功启动Docker
3.2查看docker版本信息：docker --version；docker version；docker info
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
3.3 测试用例——hello-world：docker run hello-world
在这里插入图片描述
3.4启动一个Ubuntu容器：docker run -it ubuntu bash
输入：exit 退出
在这里插入图片描述
3.5启动一个nginx容器：docker run -d -p 81:80 --name webserver nginx
在这里插入图片描述
浏览器输入：localhost:81 确认启动成功
在这里插入图片描述
3.6 查看已启动所有容器：docker ps -a
在这里插入图片描述
3.7查看运行中的容器：docker ps
在这里插入图片描述
完成以上测试命令，Docker成功安装！！！

123*321
关注
  • 4
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark运行自带例子_Spark 3.0源码编译及运行
weixin_39525300的博客
12-19 329
为了研究这个费了半天劲，简单记录下来。1.源码下载正常来说，应该去github，找对应分支。3.0已经是最新版了，直接下载master就行了。但实在是太慢了，去gitee上去下载吧，找一下spark,源码下载下来。如果使用idea，可以直接在VCS中输入地址，然后等待下载完成。2.编译编译主要依赖三个条件java 1.8(其他版本没试过)scala 2.12.10maven 3.6以上我使用的是u...
如何使用homebrew安装python3
weixin_40184069的博客
09-22 632
如何使用homebrew安装python3 用homebrew来安装最新版本的python $ brew install python3 然后经过一段时间的等待,安装成功则会出现 ==> python@3.8 Python has been installed as 可以使用如下代码进行检验是否安装成功以及安装版本 $ python3 --version Python 3.7.3 ...
docker spark单机版
qq_39390694的博客
07-08 1105
docker spark单机版1.把准备好的安装包文件上传的宿主机器2.拉取centos7作为基础容器3.创建sparkDockerFile文件4.build出来一个spark镜像5.启动spark镜像6.进入镜像验证 1.把准备好的安装包文件上传的宿主机器 jdk-8u11-linux-x64.tar.gz scala-2.12.8.tgz spark-2.3.0-bin-hadoop2....
spark3.0.2搭建教程
Andy86666的博客
11-24 1097
spark3.0.2搭建教程
【Docker】Docker运行单机版Spark
ns2250225
10-20 3152
机器环境 centos7 内存4G 拉取镜像 镜像有2G多，下载时间比较长 = =！ docker pull sequenceiq/spark:1.6.0启动镜像 启动前，在/etc/hosts文件中，添加上：本机IP sandbox 正式启动 docker run -it -p 8088:8088 -p 8042:8042 -h sandbox sequenceiq/spark:1.6.0 bas
Spark3 Mac单机环境搭建
u010654299的博客
12-29 1003
1 相关准备   若已配置JDK和Scala，可跳过此步骤。 1.1 JDK下载   Spark需要JDK版本8以上，以下以JDK8安装为例 JDK下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html   下载完成后，点击安装包，一路继续完成安装。在完成后，在终端输入ja...
spark-3.0.2-bin-hadoop2.7-hive1.2.tgz
05-08
安装Spark 3.0.2时，你需要确保你的环境已经配置了Hadoop 2.7和Hive 1.2。解压"spark-3.0.2-bin-hadoop2.7-hive1.2.tgz"后，你可以找到包含Spark二进制文件、配置文件、库文件以及示例的目录结构。在运行Spark之前，...
PrimoCache3.0.2 + 免PE重置V2 支持 win10 1809
05-01
自动给windows加速，附带脚本可以自动清除系统目录下的系统文件，可正常完成重置
linux安装jdk17 运行springboot3.0.2项目jar
02-15
本案例主要涉及的是在Linux系统上安装较新版本的JDK（Java Development Kit）17，并解决Spring Boot 3.0.2项目在Java 8环境下无法运行的问题。以下是详细的操作步骤和相关知识点： **一、Linux安装JDK17** 1. **...
EasyRoads3D+Pro+v3+v3.0.2+and+v3.1beta2
09-03
亲测可用，仅供学习，不得商用。 Road infrastructures and Parametric Modeling inside Unity Create unique road networks directly in Unity with built-in and mesh based crossings based on your own models....
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.csdn.net/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
ableton-link_3.0.2+dfsg.orig.tar.gz
11-06
在UOS中安装和使用Ableton Link，首先需要解压"ableton-link_3.0.2+dfsg.orig.tar.gz"，然后遵循标准的Linux编译流程进行编译和安装。这通常包括解压、配置、编译和安装四个步骤。在UOS环境中，开发者可能需要安装...
Spark3.2教程（一）Windows10搭建Spark3.2.0
Java朱老师博客
12-17 3122
目前Spark官方提供的最新版本3.2.0，是2021年10月份发布，但是该版本搭建Windows下环境，在使用spark-shell时，会报以下错误，尚无解决方案。 退而求其次，使用Spark3.1.2，则完全正常。 本次搭建环境，所使用到的系统为Windows10，JDK1.8，Hadoop3.3.1，Scala2.1.3，Spark为3.1.2 注意过程中，所解压的文件不要放在有空格的文件夹中，CMD使用管理员身份打开。 首先在Windows上搭建Hadoop，请参考：
如何在ubuntu上使用docker安装单机spark
lotx1的博客
04-28 618
如何在ubuntu上使用docker安装单机spark 首先感谢来自《天天进步》作者提供参考 在docker上安装spark主要分为3个步骤：1.安装docker 2.将带有spark的docker镜像装载到自己的docker group中 3.运行测试spark1.首先你得自己安装docker，这个不难，自己查下百度就可以（链接） 2.因为从docker hub中pull来慢了，所以的手动加
Spark3.1.2单机安装部署问题处理记录
m0_37191919的博客
12-16 1135
引用的安装的文档为：Spark3.1.2单机安装部署_花菜回锅肉的博客-CSDN博客 但是可能存在正常启动master后，启动worker时报错： org.apache.spark.SparkException: Invalid Spark URL: spark://**** 可能时由于机器名称有“_”造成的，需要修改hostname然后重新启动master后，再启动worker； 不重启的情况下修改hostname的操作，引用文档： linux下如何更改主机名_如何在不重新启动的情况下更改L
ubuntu18简单安装Spark3，pySpark，scala， SBT和java11
weixin_44356316的博客
11-17 600
目录0.环境说明1.安装Java2.安装Scala和SBT3.安装Spark3 0.环境说明 本机ubuntu18,python3是anaconda的，之前要安装java环境和scala 1.安装Java 阅读Scala官方安装教程，需要Java11或者Java8的环境， Scala地址。我选择安装Java11.（我采用非源码默认版本安装，ubuntu18极其以上系统都行）。链接: 其他安装方式参考. sudo apt-get update #安装OpenJDK，这是Java运行的环境 sudo apt i
win10配置安装spark-3.0.2-bin-hadoop2.7踩坑上岸
weixin_51432117的博客
03-22 1057
文章目录前言一、软件分享二、经验分享1.环境配置2.解决出错总结 前言 一、软件分享 这里面是hadoop2.7.7所需的文件，其中JDK是1.8.201版本。 链接：https://pan.baidu.com/s/1Bbk9CqTSAmlLwCuXD62LBw 提取码：878s 复制这段内容后打开百度网盘手机App，操作更方便哦 spark去官网下载基于2.7版本的即可http://spark.apache.org/downloads.html 二、经验分享 1.环境配置 代码如下（示例）： 将Ja
Windows10系统spark3.0.0配置
最新发布
lzq_tarena的专栏
11-06 1104
不同版本bin文件下载链接：https://gitee.com/tlbrun/hadoopWinutils/。注意：需要把%HADOOP_HOME%\bin与%HADOOP_HOME%\sbin一同加入path中。注意：需要把%SPARK_HOME%\bin与%SPARK_HOME%\sbin一同加入path中。从Apache官网下载Hadoop：https://hadoop.apache.org/官方下载网址：https://www.scala-lang.org/
windows10环境安装spark-3.0.3-bin-hadoop2.7
TF666666的博客
09-01 9314
@[TOC]（windows10环境安装spark-3.0.3-bin-hadoop2.7和遇到的问题） 前言 星光不问赶路人，时光不负有心人。 刚刚接触spark，安装环境就暗了两天，目前遇到的问题，下面一一会有说明，希望能给到大家帮助，其中会用到其他人的博客，有的可能忘记标记引用，如看到，可以联系本人，进行及时更改 一、spark安装需要安装的相关的？ 1.JDK安装（不会的网上有很多）本人安装的是Java 1.8.0_291 2.下载Hadoop_2.7.1 3.下载下载hadooponwindows
PySpark3.2单机模式安装与配置Ubuntu
09-05
要在Ubuntu上安装和配置PySpark 3.2的单机模式，可以按照以下步骤进行操作： 1. 首先，确保已经安装了JDK、Hadoop、Spark和Anaconda。可以使用apt-get命令安装JDK、Hadoop和Spark，使用Anaconda官方网站提供的脚本来安装Anaconda。 2. 安装完成后，打开终端并运行以下命令来编辑/etc/profile文件： ``` vi /etc/profile ``` 3. 在文件的末尾添加以下内容，用于配置PySpark的环境变量： ``` export PYSPARK_DRIVER_PYTHON=$ANACONDA_HOME/bin/ipython3 export PYSPARK_PYTHON=$ANACONDA_HOME/bin/python3 export PYSPARK_DRIVER_PYTHON_OPTS="notebook" ``` 4. 保存并退出/etc/profile文件。运行以下命令来使配置生效： ``` source /etc/profile ``` 5. 接下来，编辑/etc/profile文件，并将以下内容添加到文件的末尾，用于配置Spark的环境变量： ``` export SPARK_HOME=/home/demo/hadoopApp/spark-3.0.0-preview2-bin-hadoop3.2 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin: ``` 6. 再次保存并退出/etc/profile文件。运行以下命令来使配置生效： ``` source /etc/profile ``` 7. 现在，PySpark3.2的单机模式已经成功安装和配置完成。在终端中输入以下命令来启动PySpark： ``` pyspark ``` 这将打开Jupyter Notebook，并允许您在浏览器中使用PySpark。 请注意，这只是安装和配置PySpark3.2的单机模式的基本步骤。具体的安装和配置步骤可能因系统配置和版本而有所不同。建议您参考官方文档或在线资源以获取更详细的指南。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [Ubuntu系统下配置单机版Hadoop、Spark、Pyspark以及安装Anaconda教程](https://blog.csdn.net/Y_Bug/article/details/105441177)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [Win10安装配置Spark3.0.2+单机版hadoop+JDK并运行实例+安装运行Docker](https://blog.csdn.net/ZN_COME/article/details/117167474)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值