spark运行example时遇到的问题

最新推荐文章于 2024-02-17 19:11:27 发布

念雅小轩

最新推荐文章于 2024-02-17 19:11:27 发布

阅读量1.1k

点赞数

分类专栏： Spark 文章标签： Spark

本文链接：https://blog.csdn.net/b11050101/article/details/102681991

版权

在尝试运行Spark自带的SparkPi demo时遇到了错误，首先因缺少hdfs-site.xml和core-site.xml导致报错，解决方法是将这两个配置文件从$HADOOP_HOME拷贝到$SPARK_HOME/conf，并在HDFS上创建指定路径。问题解决后，又出现YARN不支持spark shuffle service的错误，通过更新yarn-site.xml配置，将shuffle jar拷贝到NodeManager的lib目录下并重启服务，或在spark-defaults.xml中添加配置。当提交到YARN时，若报错，可能需要在.bashrc中添加配置信息并刷新环境变量。

摘要由CSDN通过智能技术生成

运行spark自带的demo：

1、提交到client

bin/spark-submit --master spark://ip:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2g lib/spark-examples-1.6.0-hadoop2.6.0.jar

spark报错如下：

Exception in thread "main" java.lang.IllegalArgumentException: java.net.UnknownHostException: xxx
	at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:374)
	at org.apache.hadoop.hdfs.NameNodeProxies.createNonHAProxy(NameNodeProxies.java:312)
	at org.apache.hadoop.hdfs.NameNodeProxies.createProxy(NameNodeProxies.java:178)
	at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:665)
	at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:601)
	at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:148)
	at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2596)
	at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:91)
	at org.apache