前言:
win10的Ubuntu虽然是子系统,但是还是配置的是linux的,和win10系统还是不共通。所以需要单独配置。
java安装
scala安装
spark以及hadoop的安装
spark2.1.3
配置hadoop单机伪分布式
虽然配置了spark、scala、hadoop的环境变量,但是没有生效。在本文的最后写一下,我是怎么样让我的IDEA跑起了我的spark程序
上一下我的scala代码
package com.kaikeba
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD
object WordCount {
def main(args: Array[String]): Unit = {
val sparkConf: SparkConf = new SparkConf().setAppName("WordCount").setMaster("local[2]")
val sc = new SparkContext(sparkConf)
//下面的本地写法都成功了
// val data: RDD[String] = sc.textFile("./data/test.txt")
// val data: RDD[String] = sc.textFile("file:///D:/spark项目/data/test.txt")
// val data: RDD[String] = sc.textFile("file://D:/spark项目/data/test.txt")
// val data: RDD[String] = sc.textFile("/D:/spark项目/data/test.txt")
// val data: RDD[String] = sc.textFile("D:/spark项目/data/test.txt")
//下面是调用hdfs
//首先得start-dfs.cmd启动hdfs
//其次是需要你配置hadoop的时候core-site.xml文件里的ip:端口
//当然你也得用hdfs dfs -mkdir /user 建立起hdfs里的/user目录
// 要特别注意一点是你在本地“ls /”是看不到你本地伪分布式hadoop建立的/user的
//然后用hdfs dfs -**** 建立/user/data目录以及将本地文件test.txt导入到hdfs的data目录中
val data: RDD[String] = sc.textFile("hdfs://localhost:9000/user/data/test.txt")
val words: RDD[String] = data.flatMap(x => x.split(" "))
val wordAndOne: RDD[(String, Int)] = words.map(x => (x, 1))
val result: RDD[(String, Int)] = wordAndOne.reduceByKey((x,y) => x+y)
val finalResult: Array[(String, Int)] = result.collect()
finalResult.foreach(println)
//result.saveAsTextFile("./data/out")
sc.stop()
}
}
设置的pom.xml文件
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.kaikeba</groupId>
<artifactId>spark_study</artifactId>
<version>1.0</version>
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.1.3</version>
</dependency>
</dependencies>
<build>
<sourceDirectory>src/main/scala</sourceDirectory>
<testSourceDirectory>src/test/scala</testSourceDirectory>
<plugins>
<plugin>
<groupId>net.alchim31.maven</groupId>
<artifactId>scala-maven-plugin</artifactId>
<version>3.2.2</version>
<executions>
<execution>
<goals>
<goal>compile</goal>
<goal>testCompile</goal>
</goals>
<configuration>
<args>
<arg>-dependencyfile</arg>
<arg>${project.build.directory}/.scala_dependencies</arg>
</args>
</configuration>
</execution>
</executions>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>2.4.3</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<filters>
<filter>
<artifact>*:*</artifact>
<excludes>
<exclude>META-INF/*.SF</exclude>
<exclude>META-INF/*.DSA</exclude>
<exclude>META-INF/*.RSA</exclude>
</excludes>
</filter>
</filters>
<transformers>
<transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
<mainClass></mainClass>
</transformer>
</transformers>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>
安装maven请看下面的链接的对应部分
只是没有设置“MAVEN_OPTS = -Xms128m -Xmx512m”仍可运行
而且它里面的说的好像挺对,所以装一个IDEA还是很有必要的
windows下spark的安装和运行
最后写一下我是如何在hadoop、spark、scala设置了环境变量,但没有生效的情况下,利用IDEA跑成功了著名的spark的WordCount代码的。
- hadoop的配置
- hadoop的windows需要winutils,虽然我下载下来了,但是并没有什么卵用,而且确实不需要这个玩意也是可以跑代码的,没啥影响。顺便提一嘴,linux不需要这玩意。
- 配置一下 /mnt/d/hadoop/etc/hadoop/hadoop-env.cmd,因为我用的是ubuntu子系统,所以/mnt/d实质上配置的是D盘
set JAVA_HOME=D:\java\jdk1.8.0_271
- 配置一下/mnt/d/hadoop/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
-
- 配置一下/mnt/d/hadoop/etc/hadoop/hdfs-site.xml, 当然你得先把D盘下的目录建立起来。
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/D:/hadoop/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/D:/hadoop/data/dfs/datanode</value>
</property>
</configuration>
-
- 配置一下/mnt/d/hadoop/etc/hadoop/mapred-site.xml, mapred-site.xml是复制mapred-site.xml.template,去掉template
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
-
- 配置一下/mnt/d/hadoop/etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
- 最关键的来了,其实还是环境变量没有生效的原因,所以将下面两个文件最后的两行变成相应的hadoop的bin的hadoop和yarn所在的路径即可
- 配置一下/mnt/d/hadoop/sbin/start-dfs.cmd
start “Apache Hadoop Distribution” …\bin\hadoop namenode
start “Apache Hadoop Distribution” …\bin\hadoop datanode- 配置一下/mnt/d/hadoop/sbin/start-yarn.cmd
start “Apache Hadoop Distribution” …\bin\yarn resourcemanager
start “Apache Hadoop Distribution” …\bin\yarn nodemanager
启动hadoop
进入到hadoop–>bin目录下,shift+右键 打开命令行
hadoop namenode -format //格式化hdfs
cd xx/hadoop/sbin //进入到sbin目录下
start-dfs.cmd //先启动hdfs
start-yarn.cmd //再启动yarn
注意不要用ubuntu子系统的终端而是用windows的终端,否则就会图示错误
而且这跟我用ubuntu子系统(即linux)搭这一系列环境时启动hadoop一样的问题,我怀疑就是ubuntu子系统的坑,我感觉mac应该没相应的问题,这时候就得吐槽我司用这操蛋的windows,至少配个mac台式机也好啊。
接下来搭一下mac的这一套,以及破解IDEA(见onenote)
HDFS的UI界面
http://localhost:50070/
YARN的UI界面
http://localhost:8088/
这两个界面参考的是这篇hadoop还不错