Spark和Hadoop的安装

最新推荐文章于 2025-04-22 00:02:12 发布

柚子那么大

最新推荐文章于 2025-04-22 00:02:12 发布

阅读量913

点赞数 27

文章标签： spark hadoop 大数据

本文链接：https://blog.csdn.net/m0_74427084/article/details/146369580

版权

一、实验目的

（1）掌握在Linux虚拟机中安装Hadoop和Spark的方法；

（2）熟悉HDFS的基本使用方法；

（3）掌握使用Spark访问本地文件和HDFS文件的方法。

二、实验内容和要求

1.安装Hadoop和Spark

进入Linux系统，参照PPT，完成Hadoop和Spark的安装。自行选择安装模式。

2.HDFS常用操作

使用hadoop用户名登录进入Linux系统，启动Hadoop，参照相关Hadoop书籍或网络资料，或者也可以参考本课程PPT，使用Hadoop提供的Shell命令完成如下操作：

启动Hadoop，在HDFS中创建用户目录“/user/hadoop”；

使用hadoop用户名登录进入Linux系统，假设Hadoop系统被安装在“/usr/local/hadoop”目录。使用如下命令启动Hadoop：

$cd  /usr/local/hadoop

$./sbin/start-dfs.sh  #启动HDFS

$./bin/hdfs  dfs  -mkdir  -p /user/hadoop  #在HDFS中创建用户目录/user/hadoop

在Linux系统的本地文件系统的“/home/hadoop”目录下新建一个文本文件test.txt，并在该文件中随便输入一些内容，然后上传到HDFS的“/user/hadoop”目录下；

$cd  /home/hadoop

$vim test.txt

#在test.txt中随便输入一些内容，并保存退出vim编辑器

$cd  /usr/local/hadoop

$./bin/hdfs  dfs  -put  /home/hadoop/test.txt  /user/hadoop

把HDFS中“/user/hadoop”目录下的test.txt文件，下载到Linux系统的本地文件系统中的“/home/hadoop/下载”目录下；

$ cd  /usr/local/hadoop

$./bin/hdfs  dfs  -get  /user/hadoop/test.txt  /home/hadoop/下载

将HDFS中“/user/hadoop”目录下的test.txt文件的内容输出到终端中进行显示；

$ cd  /usr/local/hadoop

$./bin/hdfs  dfs  -cat  /user/hadoop/test.txt

在HDFS中的“/user/hadoop”目录下，创建子目录input，把HDFS中“/user/hadoop”目录下的test.txt文件，复制到“/user/hadoop/input”目录下；

$ cd  /usr/local/hadoop

$./bin/hdfs  dfs  -mkdir  /user/hadoop/input

$./bin/hdfs  dfs  -cp  /user/hadoop/test.txt  /user/hadoop/input

删除HDFS中“/user/hadoop”目录下的test.txt文件，删除HDFS中“/user/hadoop”目录下的input子目录及其子目录下的所有内容。

$ cd  /usr/local/hadoop

$./bin/hdfs  dfs  -rm  /user/hadoop/test.txt

$./bin/hdfs  dfs  -rm  -r  /user/hadoop/input

3.Spark读取文件系统的数据

（1）在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数；

假设Spark安装在“/usr/local/spark”目录。

$ cd  /usr/local/spark

$./bin/spark-shell

scala>val textFile=sc.textFile("file:///home/hadoop/test.txt")

scala>textFile.count()

（2）在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；

scala>val textFile=sc.textFile("hdfs://localhost:9000/user/hadoop/test.txt")

scala>textFile.count()

（3）编写独立应用程序，读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；通过sbt工具将整个应用程序编译打包成 JAR包，并将生成的JAR包通过 spark-submit 提交到 Spark 中运行命令。

使用hadoop用户名登录Linux系统，打开一个终端，在Linux终端中，执行如下命令创建一个文件夹 sparkapp作为应用程序根目录：

$ cd  ~           # 进入用户主文件夹

$ mkdir  ./sparkapp        # 创建应用程序根目录

$ mkdir  -p  ./sparkapp/src/main/scala     # 创建所需的文件夹结构

需要注意的是，为了能够使用sbt对Scala应用程序进行编译打包，需要把应用程序代码存放在应用程序根目录下的“src/main/scala”目录下。下面使用vim编辑器在“~/sparkapp/src/main/scala”下建立一个名为 SimpleApp.scala的Scala代码文件，命令如下：

$ cd  ~

$ vim  ./sparkapp/src/main/scala/SimpleApp.scala

然后，在SimpleApp.scala代码文件中输入以下代码：

/* SimpleApp.scala */

import org.apache.spark.SparkContext

import org.apache.spark.SparkContext._

import org.apache.spark.SparkConf



object SimpleApp {

    def main(args: Array[String]) {

        val logFile = " hdfs://localhost:9000/user/hadoop/test.txt"

        val conf = new SparkConf().setAppName("Simple Application")

        val sc = new SparkContext(conf)

        val logData = sc.textFile(logFile, 2)

        val num = logData.count()

        printf("The num of this file is %d", num)

    }

}

下面使用sbt对Scala 程序进行编译打包。

SimpleApp.scala程序依赖于Spark API，因此，需要通过sbt进行编译打包以后才能运行。首先，需要使用vim编辑器在“~/sparkapp”目录下新建文件simple.sbt，命令如下：

$ cd  ~

$ vim  ./sparkapp/simple.sbt

simple.sbt文件用于声明该独立应用程序的信息以及与 Spark的依赖关系（实际上，只要扩展名使用.sbt，文件名可以不用simple，可以自己随意命名，比如mysimple.sbt）。需要在simple.sbt文件中输入以下内容：

name := "Simple Project"

version := "1.0"

scalaVersion := "2.12.15"

libraryDependencies += "org.apache.spark" %% "spark-core" % "3.2.0"

为了保证sbt能够正常运行，先执行如下命令检查整个应用程序的文件结构：

$ cd  ~/sparkapp

$ find  .

文件结构应该是类似如下所示的内容：

.

./src

./src/main

./src/main/scala

./src/main/scala/SimpleApp.scala

./simple.sbt

接下来，可以通过如下代码将整个应用程序打包成 JAR：

$ cd  ~/sparkapp  #一定把这个目录设置为当前目录

$ /usr/local/sbt/sbt  package

对于刚刚安装的Spark和sbt而言，第一次执行上面命令时，系统会自动从网络上下载各种相关的依赖包，因此上面执行过程需要消耗几分钟时间，后面如果再次执行sbt package命令，速度就会快很多，因为不再需要下载相关文件。执行上述命令后，屏幕上会返回如下类似信息：

$ /usr/local/sbt/sbt package

OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=256M; support was removed in 8.0

[info] Set current project to Simple Project (in build file:/home/hadoop/sparkapp/)

……

[info] Done packaging.

[success] Total time: 2 s, completed 2023-1-1 20:15:17

生成的JAR包的位置为“~/sparkapp/target/scala-2.12/simple-project_2.12-1.0.jar”。

对于前面sbt打包得到的应用程序JAR包，可以通过 spark-submit 提交到 Spark 中运行，命令如下：

$ /usr/local/spark/bin/spark-submit  --class  "SimpleApp" ~/sparkapp/target/scala-2.12/simple-project_2.12-1.0.jar