win11旗舰版安装WSL子系统和环境-11搭建单机Hadoop和Spark集群环境

最新推荐文章于 2023-11-28 10:55:03 发布
最新推荐文章于 2023-11-28 10:55:03 发布
阅读量403 收藏 1
点赞数
文章标签： hadoop spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tmxye/article/details/128841307
版权

11搭建单机Hadoop和Spark集群环境

https://blog.csdn.net/qq_40907977/article/details/108866846
在这里插入图片描述
在这里插入图片描述
mkdir /opt/java
mkdir /opt/hadoop
mkdir /opt/scala
mkdir /opt/spark
sudo tar -zxf jdk-8u281-linux-x64.tar.gz –C /opt/java
在这里插入图片描述
在这里插入图片描述

sudo nano /etc/profile

export JAVA_HOME=/opt/java/jdk1.8.0_281
export JRE_HOME=/opt/java/jdk1.8.0_281/jre
export PATH=${JAVA_HOME}/bin:$PATH

export HADOOP_HOME=/opt/hadoop/hadoop-2.7.7
# 修改PATH变量，添加hadoop的bin目录进去
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

export SCALA_HOME=/opt/scala/scala-2.11.8
# export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SPARK_HOME}/bin:$PATH

export SPARK_HOME=/opt/spark/spark-3.1.1-bin-hadoop2.7
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SPARK_HOME}/bin:$PATH


export SPARK_HOME=/opt/spark/spark-3.1.1-bin-hadoop2.7
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SPARK_HOME}/bin:$PATH

在这里插入图片描述
hadoop需要ssh免密登陆等功能，因此先安装ssh。
sudo apt-get install ssh
sudo apt-get install rsync
在这里插入图片描述
修改解压后的目录下的子目录文件 etc/hadoop/core-site.xml

linuxidc@linuxidc:/opt/hadoop/hadoop-2.7.7/etc/hadoop$ sudo nano core-site.xml
<configuration> 
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

在这里插入图片描述
在这里插入图片描述

设置免密登陆
linuxidc@linuxidc:~/www.linuxidc.com$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
Generating public/private rsa key pair.Your identification has been saved in /home/linuxidc/.ssh/id_rsa.Your public key has been saved in /home/linuxidc/.ssh/id_rsa.pub.The key fingerprint is:SHA256:zY+ELQc3sPXwTBRfKlTwntek6TWVsuQziHtu3N/6L5w linuxidc@linuxidcThe key's randomart image is:+---[RSA 2048]----+|        . o.*+. .||        + B o o.||        o o =o+.o||        B..+oo=o||        S.*. ==.+||        +.o .oo.||        .o.o... ||          oo .E .||          ..  o==|+----[SHA256]-----+
linuxidc@linuxidc:~/www.linuxidc.com$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
linuxidc@linuxidc:~/www.linuxidc.com$ chmod 0600 ~/.ssh/authorized_keys

使用命令：ssh localhost 验证是否成功，如果不需要输入密码即可登陆说明成功了。
linuxidc@linuxidc:~/www.linuxidc.com$ ssh localhost
Welcome to Ubuntu 18.04.3 LTS (GNU/Linux 5.4.0-999-generic x86_64) * Documentation:  https://help.ubuntu.com * Management:    https://landscape.canonical.com * Support:        https://ubuntu.com/advantage * Canonical Livepatch is available for installation.  - Reduce system reboots and improve kernel security. Activate at:    https://ubuntu.com/livepatch188 个可升级软件包。0 个安全更新。Your Hardware Enablement Stack (HWE) is supported until April 2023.Last login: Sat Nov 30 23:25:35 2019 from 127.0.0.1

设置免密登陆
linuxidc@linuxidc:~/www.linuxidc.com$ ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
Generating public/private rsa key pair.Your identification has been saved in /home/linuxidc/.ssh/id_rsa.Your public key has been saved in /home/linuxidc/.ssh/id_rsa.pub.The key fingerprint is:SHA256:zY+ELQc3sPXwTBRfKlTwntek6TWVsuQziHtu3N/6L5w linuxidc@linuxidcThe key’s randomart image is:±–[RSA 2048]----+| . o.+. .|| + B o o.|| o o =o+.o|| B…+oo=o|| S.. .+|| +.o .oo.|| .o.o… || oo .E .|| … o|±—[SHA256]-----+
linuxidc@linuxidc:~/www.linuxidc.com$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
linuxidc@linuxidc:~/www.linuxidc.com$ chmod 0600 ~/.ssh/authorized_keys

使用命令：ssh localhost 验证是否成功，如果不需要输入密码即可登陆说明成功了。
linuxidc@linuxidc:~/www.linuxidc.com$ ssh localhost
Welcome to Ubuntu 18.04.3 LTS (GNU/Linux 5.4.0-999-generic x86_64) * Documentation: https://help.ubuntu.com * Management: https://landscape.canonical.com * Support: https://ubuntu.com/advantage * Canonical Livepatch is available for installation. - Reduce system reboots and improve kernel security. Activate at: https://ubuntu.com/livepatch188 个可升级软件包。0 个安全更新。Your Hardware Enablement Stack (HWE) is supported until April 2023.Last login: Sat Nov 30 23:25:35 2019 from 127.0.0.1

在这里插入图片描述
在这里插入图片描述

接下来需要验证Hadoop的安装a、格式化文件系统
linuxidc@linuxidc:/opt/hadoop/hadoop-2.7.7$ bin/hdfs namenode –format
19/11/30 23:29:06 INFO namenode.NameNode: STARTUP_MSG:/************************************************************STARTUP_MSG: Starting NameNodeSTARTUP_MSG:  host = linuxidc/127.0.1.1STARTUP_MSG:  args = [-format]STARTUP_MSG:  version = 2.7.7......





b、启动Namenode和Datanode
linuxidc@linuxidc:/opt/hadoop/hadoop-2.7.7$ sbin/start-dfs.sh
Starting namenodes on [localhost]localhost: starting namenode, logging to /opt/hadoop/hadoop-2.7.7/logs/hadoop-linuxidc-namenode-linuxidc.outlocalhost: starting datanode, logging to /opt/hadoop/hadoop-2.7.7/logs/hadoop-linuxidc-datanode-linuxidc.outStarting secondary namenodes [0.0.0.0]The authenticity of host '0.0.0.0 (0.0.0.0)' can't be established.ECDSA key fingerprint is SHA256:OSXsQK3E9ReBQ8c5to2wvpcS6UGrP8tQki0IInUXcG0.Are you sure you want to continue connecting (yes/no)? yes0.0.0.0: Warning: Permanently added '0.0.0.0' (ECDSA) to the list of known hosts.0.0.0.0: starting secondarynamenode, logging to /opt/hadoop/hadoop-2.7.7/logs/hadoop-linuxidc-secondarynamenode-linuxidc.out

c、浏览器访问http://localhost:50070

在这里插入图片描述

3、Scala安装：
sudo tar zxf scala-2.11.8.tgz -C /opt/scala

4、安装spark
将spark放到某个目录下，此处放在/opt/spark使用命令：tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz 解压缩即可
sudo tar -zxf spark-2.4.4-bin-hadoop2.7.tgz -C /opt/spark

配置配置spark-env.sh
进入到spark/conf/
linuxidc@linuxidc:/opt/spark/spark-2.4.4-bin-hadoop2.7/conf$ sudo nano spark-env.sh
export JAVA_HOME=/opt/java/jdk1.8.0_231export HADOOP_HOME=/opt/hadoop/hadoop-2.7.7export HADOOP_CONF_DIR=/opt/hadoop/hadoop-2.7.7/etc/hadoopexport SPARK_HOME=/opt/spark/spark-2.4.4-bin-hadoop2.7export SCALA_HOME=/opt/scala/scala-2.11.8export SPARK_MASTER_IP=127.0.0.1export SPARK_MASTER_PORT=7077export SPARK_MASTER_WEBUI_PORT=8099export SPARK_WORKER_CORES=3export SPARK_WORKER_INSTANCES=1export SPARK_WORKER_MEMORY=5Gexport SPARK_WORKER_WEBUI_PORT=8081export SPARK_EXECUTOR_CORES=1export SPARK_EXECUTOR_MEMORY=1Gexport LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/native

3、Scala安装：
sudo tar zxf scala-2.11.8.tgz -C /opt/scala

4、安装spark
将spark放到某个目录下，此处放在/opt/spark使用命令：tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz 解压缩即可
sudo tar -zxf spark-2.4.4-bin-hadoop2.7.tgz -C /opt/spark

配置配置spark-env.sh
进入到spark/conf/
linuxidc@linuxidc:/opt/spark/spark-2.4.4-bin-hadoop2.7/conf$ sudo nano spark-env.sh
export JAVA_HOME=/opt/java/jdk1.8.0_231export HADOOP_HOME=/opt/hadoop/hadoop-2.7.7export HADOOP_CONF_DIR=/opt/hadoop/hadoop-2.7.7/etc/hadoopexport SPARK_HOME=/opt/spark/spark-2.4.4-bin-hadoop2.7export SCALA_HOME=/opt/scala/scala-2.11.8export SPARK_MASTER_IP=127.0.0.1export SPARK_MASTER_PORT=7077export SPARK_MASTER_WEBUI_PORT=8099export SPARK_WORKER_CORES=3export SPARK_WORKER_INSTANCES=1export SPARK_WORKER_MEMORY=5Gexport SPARK_WORKER_WEBUI_PORT=8081export SPARK_EXECUTOR_CORES=1export SPARK_EXECUTOR_MEMORY=1Gexport LD_LIBRARY_PATH= L D L I B R A R Y P A T H : {LD_LIBRARY_PATH}: LDL​IBRARYP​ATH:HADOOP_HOME/lib/native

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Java，Hadoop等具体路径根据自己实际环境设置。启动bin目录下的spark-shell

可以看到已经进入到scala环境，此时就可以编写代码啦。spark-shell的web界面

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
WSL搭建Hadoop与Spark环境
在这里插入图片描述
在这里插入图片描述
https://blog.csdn.net/huiruwei1020/article/details/115033974
在这里插入图片描述
查看hadoop页面
在这里插入图片描述
浏览器访问http://localhost:50070

在这里插入图片描述
在这里插入图片描述
YARN单机配置试过没必要
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

AI叶哥
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
WSL CentOS 7.9-2111（win11 WSL 上安装 CentOS 7 系统）
07-26
3. **安装WSL**：在Windows 11中启用WSL需要开启“适用于Linux的Windows子系统”和“虚拟机平台”这两个Windows功能，并安装所需的Linux发行版。 4. **WSL2安装CentOS 7**：首先需要运行“CentOS7.exe”来安装WSL的...
Windows子系统WSL LxRunOffline-v3.5.0-11-gfdab71a-msvc
10-31
Windows子系统WSL，LxRunOffline转移WSL时报错Couldn't set the case sensitive attribute of the directory ...Indicates that the directory trying to be deleted is not empty..出现此错误时，需要下载此版本的...
Windows下安装Hadoop
johnnywww的专栏
03-21 1万+
公司项目计划用Hadoop，现在需要用Eclipse在Windows下开发，在网上找文章，终于在单机安装成功。 台式机i5-2400 3.1G，2G内存，操作系统Win7，JDK1.6.31，推荐学习这篇文章。 1.下载Cygwin，运行Setup.exe，记得安装Sed、Openssh、Openssl，安装目录为d:\cygwin。 2.安装JDK，设置Windows环境变量，添加JAVA
Windows下搭建spark环境
fy_1852003327的博客
05-01 580
Windows下搭建spark环境 【有问题或错误，请私信我将及时改正；借鉴文章标明出处，谢谢】 参考文章： Spark在Windows环境是如何搭建的 运行环境： Win10 64位 Jdk 1.8.0_171 Scala 2.11.12 Hadoop 2.7.3 Winutils.exe 一：JDK的安装与环境变量的配置 1.下载并安装jdk 到官网找到自己想要下载的jdk下载其win...
Windows11安装hadoop-3.3.0
xiliuhu的专栏
05-07 2827
解压到C:\hadoop-3.3.0目录，形成C:\hadoop-3.3.0\bin这种目录层次。将其中bin目录替换到C:\hadoop-3.3.0\下的bin目录。\hadoop-3.3.0\etc\hadoop目录下有4个配置文件。2. 下载winutils替换hadoop-3.3.0\bin目录。选择hadoop-3.3.0.tar.gz下载。进入C:\hadoop-3.3.0\sbin。执行start-yarn.cmd文件。1. 下载hadoop-3.3.0。执行start-dfs.cmd文件。
基于Win11、CentOS7、VMWare15pro搭建Hadoop2.7.7
深秋先生的博客
03-25 4187
基于Win11、CentOS7、VMWare15pro搭建Hadoop2.7.7 具体为在虚拟机中搭建hadoop集群，共有三个节点，从到下载到配置启动测试hadoop2.7.7 注意，本文章只有实操，基本没有理论概述，因为鄙人也在新手阶段，这点微薄知识就不上传了。
Windows下的搭建Hadoop、Spark和Scala编程环境
哈工大许政的博客
08-13 2万+
Windows下的搭建Hadoop、Spark和Scala编程环境 本文是基于Windows 10系统环境，搭建Hadoop、Spark和Scala编程环境 Windows 10 IntelliJ scala-2.11.12 spark-2.4.3-bin-hadoop2.7 hadoop-2.7.1 一、JDK安装 (1) 下载jdk 首先需要安装JDK，jdk-8u221-windows...
wsl2-usbipd-win-3.0.0..msi 安装文件
06-25
**WSL2 (Windows Subsystem for Linux 2)** 是微软为Windows 10及更高版本引入的一个功能，它允许用户在Windows操作系统上直接运行Linux发行版的原生环境，而无需虚拟机。这一功能极大地提高了开发者在Windows环境中...
Windows子系统WSL LxRunOffline-v3.5.0-11-gfdab71a-msvc（免费）
01-30
Windows子系统WSL，LxRunOffline转移WSL时报错Couldn't set the case sensitive attribute of the directory ...Indicates that the directory trying to be deleted is not empty..出现此错误时，需要下载此版本的...
win-win10子系统wsl2桌面化.pdf
最新发布
02-02
windows win_win10子系统wsl2桌面化
windows子系统(wsl) Ubuntu16.04 下安装hadoop
huang007guo的专栏
07-27 6709
使用命令查看系统版本 sudo lsb_release -a 1.准备工作 1.1 创建hadoop用户 01:先打开终端（Ctrl+Alt+T） 键入指令： sudo useradd -m hadoop -s /bin/bash 02:设置用户hadoop的登录密码 sudo passwd hadoop 提示会要求输入两次密码（键入密码不会显...
WSL2+docker+redis 集群部署（1主2从）
一个学习困难症患者的破博客
05-10 735
承接上文 WSL2+docker+redis 数据卷挂载部署 继续学习 将redis的数据卷拷贝三份，7001是master，7002和7003是slave， 将它们放在一个新的文件夹redis-cluster中，则redis-cluster_default将作为compose的网络名 然后在一旁新建一个docker-compose.yml文件： 分别将三个redis数据卷中的配置文件的端口改成7001、7002、7003（过程略） 重点来了，编写docker-compose.yml： version:
在window11系统下安装和配置Hadoop并在idea上连接HDFS的过程中可能出现的问题以及解决办法
m0_63168284的博客
11-28 990
hadoop环境配置
oracle11g集群搭建,windows 2008R2+故障转移集群+oracle11g配置指导说明
weixin_39850920的博客
04-14 257
windows 2008+Oracle 11g R2 故障转移群集配置一. 故障转移群集环境介绍：1.1 逻辑拓扑图1.2 服务器AOS：win 2008 entprise sp1 ServerName：node1Pubic_IP：192.168.200.1/24 DNS：192.168.200.1Heartbeat_IP：10.10.10.10/241.2 服务器BOS：win 2008 ent...
大数据时代--windows下spark的安装与配置教程
热门推荐
Silence-wen
10-19 3万+
Spark作为一个基于内存的开源计算框架，在这个大数据时代背景下，受到越来越多的开发者的喜爱，相对于Hadoop,Spark拥有对大量数据更快的处理速度，并且易于使用（支持多种开发语言）。比Hadoop具有更多的优点，怎能不让人想去尝试一下Spark的魅力呢？ 了解Spark的都知道Spark是用Scala写的，那么要想在windows下来运行Spark少不了的就要先安装Scala。 首先的在一个
# hadoop/Linux环境的准备和搭建（在Windows11下）以及创建虚拟机中ping后网络不可达ping不通的处理方法
m0_64445490的博客
10-09 9617
# hadoop/Linux环境的准备和搭建（在Windows11下）以及创建虚拟机中ping后网络不可达ping不通的处理方法
windows子系统wsl lxrunoffline-v3.5.0-11-gfdab71a-msvc
06-24
### 回答1： ...总的来说，lxrunoffline-v3.5.0-11-gfdab71a-msvc是WSL的一个重要组成部分，它为Windows系统用户提供了一个完整的Linux环境，让用户能够轻松访问和使用Linux命令行工具和应用程序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值