Spark-常见问题

Spark-常见问题

1. value $ is not a member of StringContext

val spark = SparkSession.builder().getOrCreate()    
// 加上下面这句就好了
import spark.implicits._ 

2. java.lang.ClassNotFoundException: Class com.hadoop.compression.lzo.LzoCodec not found
   因为在core-site.xml中加入了lzo相关配置，spark和hadoop联合用的时候可能报此错误。解决方法是在项目中加入依赖，比如我这里用的idea开发，就在Project Structure->Modules中选择右侧的Dependecies，然后点+增加一个hadoop-lzo-versionxxx.jar。
   
   更多可以参考Enable lzo in Spark and IntelliJ IDEA

3. Spark-shell执行时找不到LzoCodec
   使用如下命令提交

   bin/spark-shell --master yarn --deploy-mode client
   

   发现报错:ClassNotFoundException: Class com.hadoop.compression.lzo.LzoCodec not found。原因是在lib中找不到LZO包。

   先在conf/spark-env.sh中加入以下内容：

   HADOOP_CONF_DIR=/home/cdh/hadoop/etc/hadoop
   // 重点是这行
   SPARK_CONF_DIR=/home/cdh/spark-2.2.3-bin-hadoop2.6/conf
   SPARK_LOG_DIR=/var/log/cdh/spark
   SPARK_PID_DIR=/var/log/cdh/pid
   SPARK_DAEMON_MEMORY=512m
   

   然后再在conf/spark-defaults.conf中加入以下内容：

   spark.jars /home/cdh/hadoop-2.6.0-cdh5.8.2/share/hadoop/common/hadoop-lzo-0.4.21-SNAPSHOT.jar
   

   重新运行spark-shell yarn-client，已经没问题了