Windows配置IDEA+java8+scala2.11+spark2.1.3+hadoop2.7.1+maven3.6.1

最新推荐文章于 2022-04-04 23:07:26 发布

幡然醒悟的研二狗-致敬所有受压迫的博士

最新推荐文章于 2022-04-04 23:07:26 发布

阅读量1.1k

点赞数

分类专栏：安装

本文链接：https://blog.csdn.net/weixin_42307036/article/details/110058534

版权

安装专栏收录该内容

2 篇文章 0 订阅

订阅专栏

前言：

win10的Ubuntu虽然是子系统，但是还是配置的是linux的，和win10系统还是不共通。所以需要单独配置。

java安装
 scala安装
 spark以及hadoop的安装
 spark2.1.3
配置hadoop单机伪分布式
虽然配置了spark、scala、hadoop的环境变量，但是没有生效。在本文的最后写一下，我是怎么样让我的IDEA跑起了我的spark程序

上一下我的scala代码

package com.kaikeba

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

object WordCount {
  def main(args: Array[String]): Unit = {
    val sparkConf: SparkConf = new SparkConf().setAppName("WordCount").setMaster("local[2]")
    val sc = new SparkContext(sparkConf)
    //下面的本地写法都成功了
    // val data: RDD[String] = sc.textFile("./data/test.txt")
    // val data: RDD[String] = sc.textFile("file:///D:/spark项目/data/test.txt")
    // val data: RDD[String] = sc.textFile("file://D:/spark项目/data/test.txt")
    // val data: RDD[String] = sc.textFile("/D:/spark项目/data/test.txt")
    // val data: RDD[String] = sc.textFile("D:/spark项目/data/test.txt")

    //下面是调用hdfs
    //首先得start-dfs.cmd启动hdfs
    //其次是需要你配置hadoop的时候core-site.xml文件里的ip:端口
    //当然你也得用hdfs dfs -mkdir /user 建立起hdfs里的/user目录
    // 要特别注意一点是你在本地“ls /”是看不到你本地伪分布式hadoop建立的/user的
    //然后用hdfs dfs -**** 建立/user/data目录以及将本地文件test.txt导入到hdfs的data目录中
    val data: RDD[String] = sc.textFile("hdfs://localhost:9000/user/data/test.txt")
    val words: RDD[String] = data.flatMap(x => x.split(" "))
    val wordAndOne: RDD[(String, Int)] = words.map(x => (x, 1))
    val result: RDD[(String, Int)] = wordAndOne.reduceByKey((x,y) => x+y)
    val finalResult: Array[(String, Int)] = result.collect()
    finalResult.foreach(println)
    //result.saveAsTextFile("./data/out")
    sc.stop()
  }
}

设置的pom.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.kaikeba</groupId>
    <artifactId>spark_study</artifactId>
    <version>1.0</version>


    <dependencies>
            <dependency>
                <groupId>org.apache.spark</groupId>
                <artifactId>spark-core_2.11</artifactId>
                <version>2.1.3</version>
            </dependency>
    </dependencies>

    <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
        <testSourceDirectory>src/test/scala</testSourceDirectory>
        <plugins>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.2</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                        <configuration>
                            <args>
                                <arg>-dependencyfile</arg>
                                <arg>${project.build.directory}/.scala_dependencies</arg>
                            </args>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.3</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <transformers>
                                <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                    <mainClass></mainClass>
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>

安装maven请看下面的链接的对应部分
只是没有设置“MAVEN_OPTS = -Xms128m -Xmx512m”仍可运行
而且它里面的说的好像挺对，所以装一个IDEA还是很有必要的
windows下spark的安装和运行

最后写一下我是如何在hadoop、spark、scala设置了环境变量，但没有生效的情况下，利用IDEA跑成功了著名的spark的WordCount代码的。

hadoop的配置
- hadoop的windows需要winutils，虽然我下载下来了，但是并没有什么卵用，而且确实不需要这个玩意也是可以跑代码的，没啥影响。顺便提一嘴，linux不需要这玩意。
- 配置一下 /mnt/d/hadoop/etc/hadoop/hadoop-env.cmd，因为我用的是ubuntu子系统，所以/mnt/d实质上配置的是D盘
  
  set JAVA_HOME=D:\java\jdk1.8.0_271
- 配置一下/mnt/d/hadoop/etc/hadoop/core-site.xml

  <configuration>
    <property>  
　　　　<name>fs.default.name</name>  
　　　　<value>hdfs://localhost:9000</value>  
　　 </property>     
  </configuration>

- 配置一下/mnt/d/hadoop/etc/hadoop/hdfs-site.xml, 当然你得先把D盘下的目录建立起来。

<configuration>
<property>  
　　<name>dfs.replication</name>  
　　<value>1</value>  
</property>
<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/D:/hadoop/data/dfs/namenode</value>
</property>
<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/D:/hadoop/data/dfs/datanode</value>
</property> 
</configuration>

- 配置一下/mnt/d/hadoop/etc/hadoop/mapred-site.xml, mapred-site.xml是复制mapred-site.xml.template,去掉template

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>

- 配置一下/mnt/d/hadoop/etc/hadoop/yarn-site.xml

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

最关键的来了，其实还是环境变量没有生效的原因，所以将下面两个文件最后的两行变成相应的hadoop的bin的hadoop和yarn所在的路径即可
- 配置一下/mnt/d/hadoop/sbin/start-dfs.cmd
start “Apache Hadoop Distribution” …\bin\hadoop namenode
start “Apache Hadoop Distribution” …\bin\hadoop datanode
- 配置一下/mnt/d/hadoop/sbin/start-yarn.cmd
start “Apache Hadoop Distribution” …\bin\yarn resourcemanager
start “Apache Hadoop Distribution” …\bin\yarn nodemanager

启动hadoop

进入到hadoop–>bin目录下,shift+右键打开命令行

hadoop namenode -format //格式化hdfs
cd xx/hadoop/sbin //进入到sbin目录下
start-dfs.cmd //先启动hdfs
start-yarn.cmd //再启动yarn

注意不要用ubuntu子系统的终端而是用windows的终端，否则就会图示错误
在这里插入图片描述
而且这跟我用ubuntu子系统(即linux)搭这一系列环境时启动hadoop一样的问题，我怀疑就是ubuntu子系统的坑，我感觉mac应该没相应的问题，这时候就得吐槽我司用这操蛋的windows，至少配个mac台式机也好啊。
接下来搭一下mac的这一套，以及破解IDEA（见onenote）

HDFS的UI界面
http://localhost:50070/
YARN的UI界面
http://localhost:8088/
这两个界面参考的是这篇hadoop还不错

幡然醒悟的研二狗-致敬所有受压迫的博士

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Windows配置IDEA+java8+scala2.11+spark2.1.3+hadoop2.7.1+maven3.6.1

前言：win10的Ubuntu虽然是子系统，但是还是配置的是linux的，和win10系统还是不共通。所以需要单独配置。java安装scala安装spark以及hadoop的安装spark2.1.3配置hadoop单机版windows下spark的安装和运行...
复制链接

扫一扫

专栏目录