VMware虚拟机安装及Ubuntu、VMwareTools、JDK、Hadoop、Spark配置总结指路（纯小白版）

旭东老仙

已于 2024-06-10 20:04:06 修改

阅读量823

点赞数 29

文章标签： ubuntu hadoop linux jdk spark 大数据

于 2024-06-10 19:59:29 首次发布

本文链接：https://blog.csdn.net/m0_55479905/article/details/139566707

版权

一、VMware虚拟机

1、下载

VMware17个人版可以官网正版免费下载无需激活码。

下载教程：BV1o7421o7Vt

1.https://temp-mail.org/ 随机生成邮箱
2.https://profile.broadcom.com/web/registration 注册账号
3.https://support.broadcom.com/group/ecx/productdownloads?subfamily=VMware+Workstation+Pro 下载界面（登录后进入）

2、配置

VMware17Pro虚拟机安装教程(超详细)_怎么安装vm17pro-CSDN博客

二、Ubuntu

1、下载

官网下载：https://ubuntu.com/download/desktop

清华镜像站下载（版本选择ubuntu-22.04.4-desktop-amd64.iso）：Index of /ubuntu-releases/22.04.4/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

2、配置

VMware虚拟机安装Ubuntu教程(超详细)_vmware如何安装ubuntu-CSDN博客

另，“无法创建新虚拟机: 不具备执行此操作的权限”的解决办法：

无法创建新虚拟机: 不具备执行此操作的权限。-CSDN博客

三、VMwareTools

安装和使用都可以参照：

Linux虚拟机VMwareTools安装+使用详解虚拟机的文件传输竟如此简单_vmware tools-CSDN博客

我复制的时候显示没有权限复制到opt所以复制到桌面了，部分参照两种方法在VMware中安装VMware Tools_vmwaretools-CSDN博客方法一

下载的过程基本上是有yes输yes，无yes按回车。

另，安装VMwareTools选项显示为灰的情况，解决方法如下：

解决“重新安装vmware-tools”灰色而无法安装的问题_为什么redhat虚拟机无法安装vmware tools-CSDN博客

将虚拟机->设置->硬件->CD/DVD.右边“连接”改为，使用物理驱动器自动检测/使用iso映像文件设为linux.iso。

另另，“客户机操作系统已将 CD-ROM 门锁定,并且可能正在使用 CD-ROM,这可能会导致客户机...” 报错解决办法：

“客户机操作系统已将 CD-ROM 门锁定,并且可能正在使用 CD-ROM,这可能会导致客户机...” 报错解决办法-CSDN博客

四、JDK

官网下载jdk，通过VMwareTools复制到虚拟机。

图源：《数据科学导论》

细节可参照：
Linux和虚拟机VMware下安装JDK1.8_有什么命令在虚拟机上下载jdk1.8-CSDN博客

”java -version"写法需注意，-前有空格后没有：Unrecognized option: -Error: Could not create the Java Virtual Machine._unrecognized option: --version error: could not cr-CSDN博客

进行其他命令时也要注意空格。

五、Hadoop

1、版本判断

进入Spark官网，判断当前版本：

Apache Spark™ - Unified Engine for large-scale data analyticsApache Spark is a multi-language engine for executing data engineering, data science, and machine learning on single-node machines or clusters.https://spark.apache.org/

版本不同，但同理。

2、下载

清华镜像下载：

Index of /apache/hadoop/commonhttps://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/版本自行判断，选择形如

hadoop-3.4.0.tar.gz

的类型。下载后通过VMwareTools复制到虚拟机。

3、配置

jdk版本自行修改。

图中长段代码在下面给出可复制版本：

mkdir /usr/lib/hadoop/dfs
mkdir /usr/lib/hadoop/dfs/name
mkdir /usr/lib/hadoop/dfs/data
mkdir /usr/lib/hadoop/tmp

<configuration>
    <property>
    	<name>fs.defaultFS</name>
	    <value>hdfs://master:9000</value>
    </property>
    <property>
	    <name>hadoop.tmp.dir</name>
	    <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

<configuration>
<property>
	    <name>dfs.replication</name>
	    <value>2</value>
    </property>
    <property>
	    <name>dfs.namenode.name.dir</name>
	    <value>/usr/local/hadoop/hdfs/name</value>
    </property>
    <property>
	    <name>dfs.datanode.data.dir</name>
	    <value>/usr/local/hadoop/hdfs/data</value>
    </property>
    <property>
	    <name>dfs.namenode.secondary.http-address</name>
	    <value>node1:9001</value>
    </property>
    <property>
	    <name>mapred.job.tracker</name>
	    <value>master:9001</value>
    </property>
</configuration>

六、Spark

1、下载

清华镜像下载：

Index of /apache/sparkhttps://mirrors.tuna.tsinghua.edu.cn/apache/spark/

选择形如

spark-3.5.1-bin-hadoop3.tgzd

的进行下载。下载后通过VMwareTools复制到虚拟机。

2、配置

有一个usr打错成了user

添加以下内容应根据自己版本以及主机IP地址进行修改

下列代码方便复制：

export JAVA_HOME=/usr/lib/jdk/jdk-22.0.1
export HADOOP_HOME=/usr/lib/hadoop/hadoop-3.4.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_MASTER_IP=master
export MASTER=spark://192.168.29.128:7077
export SPARK_LOCAL_DIRS=/usr/lib/spark/spark-3.5.1-bin-hadoop3
export SPARK_DRIVER_MEMORY=512M

最后：Hadoop（第五部分）以及Spark（第六部分）的配置该书给的引导不是很详细，建议搜索其他教程。