1.解压重命名
tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz -C /opt
mv /home/hadoop/spark-2.3.1-bin-hadoop2.7/ /home/hadoop/spark
2.修改环境变量
vim /etc/profile
export SPARK_HOME=/home/hadoop/spark
source /etc/profile
3.到spark的conf下复制一份Spark的spark-env.sh然后添加HADOOP_CONF_DIR一项
cd /home/hadoop/spark
cp conf/spark-env.sh.template conf/spark-env.sh
echo "export HADOOP_CONF_DIR=/home/hadoop/hadoop-3.0.3/etc/hadoop" >> conf/spark-env.sh
4.运行spark
spark-shell --master yarn --deploy-mode client
报错解决方法
错误一
ClosedChannelException
可能是分配给node的内存太小,Spark默认启动两个executor,使用每个executor的内存为1G,而数据太大,导致yarn直接Kill掉了executor,IO也一并关闭,所以出现了ClosedChannelException异常。
在yarn-site.xml中添加如下配置:
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
重启yarn服务
或者在执行命令时附带参数: --driver-memory 3g --executor-memory 3g,将Job可用内存显式地增大。
或者在spark/conf/spark-defaults.conf添加如下Poperty:
spark.driver.memory 5g
spark.executor.memory 5g
甚至可以继续添加如下Property:
也可以添加如下
spark.yarn.executor.memoryOverhead 4096
spark.yarn.driver.memoryOverhead 8192
spark.akka.frameSize 700
错误二
Lost Executors et. al.
解决办法同上
错误三
Incompatible clusterIDs
clusterID不匹配,可能是由于开启hdfs后又重新格式化了namenode,而格式化namenode不会影响datanode,所以导致了不匹配。
1)关掉hdfs,然后删除旧的data和name目录(datanode和namenode数据存放的本地目录),重新格式化。
2)更新datanode目录下current目录下VERSION中的clusterID。
(hadoop打开检测不到DataNode一样方法)
错误四
java.nio.channels.ClosedChannelException
这是由于master,slaves互相之间系统时间差距过大(超过10分钟),所以会出现token过期的错误,导致任务无法继续进行。
1)过期时间由yarn.resourcemanager.rm.container-allocation.expiry-interval-ms参数决定,默认是10分钟。我们可以增大此过期时间。如下
<property>
<name>yarn.resourcemanager.rm.container-allocation.expiry-interval-ms</name>
<value>1000000</value>
</property>
2)同步集群机器的系统时间,同步方式可以为设置每台机器的时间。
命令为:date -s "YYYY-MM-DD HH:MM:SS" 相同格式。
简单指令
spark-shell --jars /home/hadoop/spark/lib/mariadb.jar
import org.apache.spark.sql.SQLContext
val sqlContext = new SQLContext(sc)
import sqlContext.implicits._
val url = "jdbc:mysql://10.10.10.11:3306/nsyy2"
val table = "(select * from person ) as sparkmariadb"
val reader = sqlContext.read.format("jdbc")
reader.option("url", url)
reader.option("dbtable", table)
reader.option("driver", "org.mariadb.jdbc.Driver")
reader.option("user", "root")
reader.option("password", "1233")
val df = reader.load()
df.show()
import org.apache.spark.sql.SQLContext
import sqlContext.implicits._
val sqlContext = new SQLContext(sc)
val url = "mongodb://127.0.0.1:27017"
val table = "(db.getCollection('person').find({}) ) as sparkmongodbmon"
val reader = sqlContext.read.format("jdbc")
reader.option("url", url)
reader.option("dbtable", table)
//reader.option("driver", "mongodb.jdbc.MongoDriver")
val df = reader.load()
df.show()
java -cp /home/hadoop/spark/lib/bjson-3.8.0.jar;
spark-shell --conf "spark.mongodb.input.uri=mongodb://10.10.10.14/test.myCollection?readPreference=primaryPreferred" \
--conf "spark.mongodb.output.uri=mongodb://10.10.10.14/test.myCollection" \
--jars /home/hadoop/spark/lib/mongo-spark-connector_2.10-2.1.2.jar bson-3.8.0.jar mongo-java-driver-3.8.0.jar
package com.mongodb
object GettingStarted {
def main(args: Array[String]): Unit = {
/* Create the SparkSession.
* If config arguments are passed from the command line using --conf,
* parse args for the values to set.
*/
import org.apache.spark.sql.SparkSession
val sparkSession= SparkSession.builder().master("local").appName("MongoSparkConnectorIntro").config("spark.mongodb.input.uri", "mongodb://10.10.10.14/kitchen.Collections").config("spark.mongodb.output.uri", "mongodb://10.10.10.14/kitchen.myCollections") .getOrCreate()
val df = MongoSpark.load(sparkSession) // Uses the SparkSession
df.printSchema() // Prints DataFrame schema
println("Hello, world!")
}
}
--spark
org.mongodb.spark