Apache Spark笔记（一）

Author: kagula
Date: 2017-08-29
Environment
[1]Spark 2.2
[2]JDK 1.8.x
[3]Eclipse Mars.2
[4]Windows 10


Introduction
  本文内容分两部分：
  第一部分：下载Spark，配置Spark运行环境，并让Spark正常启动的具体步骤。
  第二部分：让Spark自带的Spark SQL示例代码，能在Eclipse中跑起来。


Content
前提：已经安装JDK并设置JAVA_HOME.


第一部分 Windows上运行Spark
共四个步骤
第一步：从Spark官网下载
spark-2.2.0-bin-hadoop2.7.tgz
Packet type为 Pre-built for Apache Hadoop 2.7 and later.
并解压缩到“D:\SDK\spark-2.2.0-bin-hadoop2.7”
设置 SPARK_HOME为“D:\SDK\spark-2.2.0-bin-hadoop2.7\bin”


第二步：下载winutils
从
https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1
下载 winutils.exe放到“D:\SDK\spark-2.2.0-bin-hadoop2.7\bin”路径中
设置 HADOOP_HOME为“D:\SDK\spark-2.2.0-bin-hadoop2.7”。
winutils的作用是给临时文件夹授权。


第三步：
在"D:\SDK\spark-2.2.0-bin-hadoop2.7\conf"路径下建立 hive-site.xml
源文件清单

<configuration>
  <property>
    <name>hive.exec.scratchdir</name>
    <value>c:/tmp/hive</value>
    <description>Scratch space for Hive jobs</description>
  </property>
</configuration>

没有这个文件指定临时缓存位置，Spark会使用“/tmp/hive”非法路径。


最后一步：
以管理员权限启动控制台,
cd到““D:\SDK\spark-2.2.0-bin-hadoop2.7\bin””
然后使用下面的命令确保路径可写
winutils.exe chmod -R 777 c:\tmp\hive
winutils.exe ls c:\tmp\hive
现在，控制台中启动“ spark-shell”命令就不会有错误提示了。


第二部分：Eclipse中运行Spark的SQL示例
第一步：
在Eclipse中新建maven工程：
New->Project->Maven->Maven Project->Create a simple project(skip archetype selection)
use default workspace location ->
Group Id填 com.kagula.app
Artifact Id填 kagula-app
Name填new-spark-project
按Finish新建了一个maven工程，这样在你的default workspace路径下就多了个kagula-app文件夹。
注意，【1】上面的三个参数你也可以自定义，【2】如果不使用default worksapce路径，会提示路径已经存在，虽然你要建的路径事实上不存在。


第二步：
项目中pom.xml文件的内容替换为下面的样子

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<groupId>com.kagula.app</groupId>
	<artifactId>kagula-app</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<name>new-spark-project</name>

	<properties>
		<java.version>1.8</java.version>
	</properties>

	<dependencies>
		<dependency>
			<groupId>org.apache.spark</groupId>
			<artifactId>spark-core_2.11</artifactId>
			<version>2.2.0</version>
		</dependency>

		<dependency>
			<groupId>org.apache.spark</groupId>
			<artifactId>spark-sql_2.11</artifactId>
			<version>2.2.0</version>
		</dependency>
	</dependencies>

	<build>
		<pluginManagement>
			<plugins>
				<plugin>
					<groupId>org.apache.maven.plugins</groupId>
					<artifactId>maven-compiler-plugin</artifactId>
					<version>3.1</version>
					<configuration>
						<source>${java.version}</source>
						<target>${java.version}</target>
					</configuration>
				</plugin>
			</plugins>
		</pluginManagement>
	</build>
</project>

第三步：
"D:\SDK\spark-2.2.0-bin-hadoop2.7\examples\src\main\java"文件夹下的文件，复制到“D:\workspace_java\kagula-app\src\main\java”
除了sql子目录，其它子目录不需要copy，我们这里只测试下Spark SQL的例子能不能正常运行。
然后刷新Project Explorer目录，可以看到导入进来的Examples


主class是org.apache.spark.examples.sql.JavaSparkSQLExample
会有点红线，使用下面的代码，参考import包

import java.io.Serializable;
// $example off:create_ds$
// $example on:programmatic_schema$
import java.util.ArrayList;
// $example off:programmatic_schema$
// $example on:create_ds$
import java.util.Arrays;
import java.util.Collections;
import java.util.List;

// $example on:schema_inferring$
// $example on:programmatic_schema$
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.function.Function;
// $example off:programmatic_schema$
// $example on:create_ds$
import org.apache.spark.api.java.function.MapFunction;
import org.apache.spark.sql.AnalysisException;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Encoder;
import org.apache.spark.sql.Encoders;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.RowFactory;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.sql.types.DataTypes;
import org.apache.spark.sql.types.StructField;
import org.apache.spark.sql.types.StructType;

import static org.apache.spark.sql.functions.col;

main函数参考下面的代码修改

    SparkSession spark = SparkSession
      .builder()
      .appName("Java Spark SQL basic example")
      .master("local")//.master("spark://192.168.109.128:7077")//.config("spark.some.config.option", "some-value")
      .getOrCreate();

从”D:\SDK\spark-2.2.0-bin-hadoop2.7\examples\src\main\resources\“位置复制 people.json文件到”D:\workspace_java\kagula-app“路径下。

修改runBasicDataFrameExample方法，使代码可以正确读取到people.json文件。

	  //只有以下两种情形才能读到json文件
	  //[1]Client必须pack后，submit到服务器，这里的路径指的是Spark服务器的运行路径。
	  //[2]本client同Spark服务在同台机器上，把people.json放在maven项目根路径上就可以了，本示例代码是放在“D:\workspace_java\kagula-app”路径下。
    Dataset<Row> df = spark.read().json("people.json");

最后一步：
以Java Application形式运行例子成功。


Keyword
HDFS  Hadoop Distributed File System
RDD   Resilient Distributed Dataset


Note
[1]Spark2.0以后RDDs被Dataset代替。
[2]Spark2.0以后默认使用Scala 2.11。
[3]JDK必须要1.8或以上版本.
[4]CentOS6 1G内存能正常启动Spark，但是跑Spark自带的“Java Spark SQL basic example”例子会提示资源不足。
Eclipse Console会打印出如下警告
WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
[5]CentOS上若Spark服务的listen地址在127.0.0.1，外部是无法连接上去的
使用netstat -ntlp命令查看7077端口的侦听地址，若是127.0.0.1
参考资料[4]或则，直接start-master.sh文件直接添加下面的行，设置SPARK_MASTER_HOST的地址为0.0.0.0
SPARK_MASTER_HOST=0.0.0.0
[6]CentOS6上使用下面的命令行可以直接启动Spark（一主一从方式）
sbin/start-all.sh
[7]if you wish to access an HDFS cluster, you need to add a dependency on hadoop-client for your version of HDFS.
groupId = org.apache.hadoop
artifactId = hadoop-client
version = <your-hdfs-version>
[8]老的，初始化Spark应用上下文的一种形式

String master = "local[*]";

SparkConf conf = new SparkConf()
.setAppName(WordCountTask.class.getName())
.setMaster(master);
JavaSparkContext context = new JavaSparkContext(conf);
.............
context.close()

Reference
[1]《Quick Start》
http://spark.apache.org/docs/latest/quick-start.html
[2]《windows下spark开发环境配置》
http://www.cnblogs.com/davidwang456/p/5032766.html
[3]《Spark Standalone Mode》
http://spark.apache.org/docs/latest/spark-standalone.html
[4]《Connection Refused When Running SparkPi Locally》
https://stackoverflow.com/questions/22129321/connection-refused-when-running-sparkpi-locally
[5]《Apache Spark (Tutorial 1) : Java 8 + Maven 3 + Eclipse》
http://letsprog.com/apache-spark-tutorial-java-maven-eclipse/