Centos Spark搭建

1.解压重命名

tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz -C /opt

mv /home/hadoop/spark-2.3.1-bin-hadoop2.7/ /home/hadoop/spark



2.修改环境变量

vim /etc/profile

export SPARK_HOME=/home/hadoop/spark

source /etc/profile





3.到spark的conf下复制一份Spark的spark-env.sh然后添加HADOOP_CONF_DIR一项

cd /home/hadoop/spark

cp conf/spark-env.sh.template conf/spark-env.sh

echo "export HADOOP_CONF_DIR=/home/hadoop/hadoop-3.0.3/etc/hadoop" >> conf/spark-env.sh





4.运行spark

spark-shell --master yarn --deploy-mode client



报错解决方法



错误一

ClosedChannelException

可能是分配给node的内存太小，Spark默认启动两个executor，使用每个executor的内存为1G，而数据太大，导致yarn直接Kill掉了executor，IO也一并关闭，所以出现了ClosedChannelException异常。

在yarn-site.xml中添加如下配置：

<property>

    <name>yarn.nodemanager.pmem-check-enabled</name>

    <value>false</value>

</property>



<property>

    <name>yarn.nodemanager.vmem-check-enabled</name>

    <value>false</value>

</property>

重启yarn服务



或者在执行命令时附带参数： --driver-memory 3g --executor-memory 3g，将Job可用内存显式地增大。

或者在spark/conf/spark-defaults.conf添加如下Poperty：



spark.driver.memory              5g

spark.executor.memory            5g

甚至可以继续添加如下Property：

也可以添加如下

spark.yarn.executor.memoryOverhead          4096

spark.yarn.driver.memoryOverhead            8192

spark.akka.frameSize                        700







错误二

Lost Executors et. al.

解决办法同上







错误三

Incompatible clusterIDs

clusterID不匹配，可能是由于开启hdfs后又重新格式化了namenode，而格式化namenode不会影响datanode，所以导致了不匹配。

1）关掉hdfs，然后删除旧的data和name目录（datanode和namenode数据存放的本地目录），重新格式化。

2）更新datanode目录下current目录下VERSION中的clusterID。

（hadoop打开检测不到DataNode一样方法）



错误四

java.nio.channels.ClosedChannelException

这是由于master，slaves互相之间系统时间差距过大（超过10分钟），所以会出现token过期的错误，导致任务无法继续进行。

1）过期时间由yarn.resourcemanager.rm.container-allocation.expiry-interval-ms参数决定，默认是10分钟。我们可以增大此过期时间。如下



<property>

   <name>yarn.resourcemanager.rm.container-allocation.expiry-interval-ms</name>

   <value>1000000</value>

</property>



2）同步集群机器的系统时间，同步方式可以为设置每台机器的时间。

命令为：date -s "YYYY-MM-DD HH:MM:SS" 相同格式。











简单指令



spark-shell --jars /home/hadoop/spark/lib/mariadb.jar





import org.apache.spark.sql.SQLContext

val sqlContext = new SQLContext(sc)

import sqlContext.implicits._

val url = "jdbc:mysql://10.10.10.11:3306/nsyy2"

val table = "(select * from person ) as sparkmariadb"

val reader = sqlContext.read.format("jdbc")

reader.option("url", url)

reader.option("dbtable", table)

reader.option("driver", "org.mariadb.jdbc.Driver")

reader.option("user", "root")

reader.option("password", "1233")

val df = reader.load()

df.show()





import org.apache.spark.sql.SQLContext

import sqlContext.implicits._

val sqlContext = new SQLContext(sc)

val url = "mongodb://127.0.0.1:27017"

val table = "(db.getCollection('person').find({}) ) as sparkmongodbmon"

val reader = sqlContext.read.format("jdbc")

reader.option("url", url)

reader.option("dbtable", table)

//reader.option("driver", "mongodb.jdbc.MongoDriver")

val df = reader.load()

df.show()







java -cp /home/hadoop/spark/lib/bjson-3.8.0.jar;





spark-shell --conf "spark.mongodb.input.uri=mongodb://10.10.10.14/test.myCollection?readPreference=primaryPreferred" \

--conf "spark.mongodb.output.uri=mongodb://10.10.10.14/test.myCollection" \

 --jars /home/hadoop/spark/lib/mongo-spark-connector_2.10-2.1.2.jar bson-3.8.0.jar mongo-java-driver-3.8.0.jar





package com.mongodb



object GettingStarted {



  def main(args: Array[String]): Unit = {



    /* Create the SparkSession.

     * If config arguments are passed from the command line using --conf,

     * parse args for the values to set.

     */

    import org.apache.spark.sql.SparkSession



      val sparkSession= SparkSession.builder().master("local").appName("MongoSparkConnectorIntro").config("spark.mongodb.input.uri", "mongodb://10.10.10.14/kitchen.Collections").config("spark.mongodb.output.uri", "mongodb://10.10.10.14/kitchen.myCollections") .getOrCreate()

      val df = MongoSpark.load(sparkSession)  // Uses the SparkSession

      df.printSchema()                        // Prints DataFrame schema

      println("Hello, world!")

  }

}







--spark





org.mongodb.spark