Spark
文章平均质量分 50
猫头鹰数据分析
十多年.Net,Java后台开发经验,有一定python爬虫和数据分析能力,专注于研究大数据基础,理论,架构与原型实现,每周分享技术干货。同时致力于python量化投资分析,欢迎关注,一起做技术研究和交流。
个人原创公众号「 猫头鹰数据分析 」,更新技术干货,欢迎关注!!!
展开
-
大数据分析学习第十八课 CDH6.3.2详细安装配置
yum -y install wget下载文件wget -c http://119.29.179.227/cdh/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcelcdh6.1.0 离线包:CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcelCDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha256manifest.json下载: https://archive....原创 2021-10-21 11:24:05 · 2968 阅读 · 3 评论 -
Spark3.X 编译源码支持hive(亲测可用)
Spark官网提供的编译版本默认是不支持Hive的,今天就给大家介绍采用源码编译方法得到支持Hive的Spark版本原创 2021-10-13 16:04:13 · 1809 阅读 · 5 评论 -
Spark3.0.3版本报““main“ java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream“
大数据开发环境就是这样,你刚填完一个坑,就掉入了另外一个坑,运行一个spark远程调用示例 SparkConf sparkConf = new SparkConf() .setMaster("spark://ss3:7077") .setAppName("JavaSparkPi"); SparkSession spark = SparkSession .builder() .原创 2021-09-24 14:01:43 · 1429 阅读 · 0 评论 -
Spark:3.0.3版本报错“java.lang.NoSuchFieldError: JAVA_9“
Exception in thread "main" java.lang.NoSuchFieldError: JAVA_9 at org.apache.spark.storage.StorageUtils$.<init>(StorageUtils.scala:207) at org.apache.spark.storage.StorageUtils$.<clinit>(StorageUtils.scala) at org.apache.spark.storage.BlockM.原创 2021-09-24 09:38:27 · 5761 阅读 · 4 评论 -
Spark3运行模式介绍
#本地模式两线程运行./bin/run-example SparkPi 10 --master local[2] #Spark Standalone集群模式运行./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://ss3:7077 examples/jars/spark-examples_2.12-3.0.3.jar 100 #Spark on YARN集群上 yarn...原创 2021-09-23 19:21:54 · 254 阅读 · 0 评论 -
大数据分析学习第十三课 实战使用Idea创建java程序运行spark的wordcount
开发工具:Intellij IDEAJava版本:JDK1.8以上在pom.xml文件中添加我们需要的jar包:spark-core<!--定义spark版本--><properties> <spark.version>2.2.3</spark.version></properties><!--spark-core核心包--><dependency> <groupId&原创 2021-07-30 20:02:35 · 548 阅读 · 0 评论 -
idea运行spark程序报错scalac: Error: illegal cyclic inheritance involving trait Iterable
执行一个spark的scala写的类,报错scalac: Error: illegal cyclic inheritance involving trait Iterablescala.reflect.internal.Types$TypeError: illegal cyclic inheritance involving trait Iterable我们打开idea项目的Project Structure选项,找到这里scala的sdk版本我用的最新的,看样子是不兼容造成的,我们最好.原创 2021-07-30 10:19:05 · 3241 阅读 · 1 评论 -
spark3.1.2运行scala报错: Exception in thread “main“ java.lang.ArrayIndexOutOfBoundsException: 28499
在用idea执行scala的类,报以下错误Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException: 28499这个查找资料后,是由于我们没有引用paranamer,我们只要在pom文件中加上引用就可以解决了<dependency> <groupId>com.thoughtworks.paranamer</groupId> <artifactId>par原创 2021-07-30 10:08:45 · 1190 阅读 · 4 评论 -
spark运行报: Scala module 2.10.0 requires Jackson Databind version >= 2.10.0 and < 2.11.0
这是jackson多版本问题, 我们需要屏蔽所有hadoop 组件中的Jackson ,修改pom文件,之后就不报异常了 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>${hadoop.version}.原创 2021-07-30 11:18:01 · 4666 阅读 · 0 评论 -
spark3.1.2版本 运行报Exception in thread “main“ java.lang.NoSuchFieldError: JAVA_9
Exception in thread "main" java.lang.NoSuchFieldError: JAVA_9这是因为项目中没有配置hadoop-common和hadoop-mapreduce-client-core包,我们在pom文件里加上依赖就可以了 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId&g.原创 2021-07-30 09:09:34 · 2408 阅读 · 0 评论 -
spark程序执行报io.netty.util.concurrent.SingleThreadEventExecutor.<init>
io.netty.util.concurrent.SingleThreadEventExecutor.<init>(Lio/netty/util/concurrent/EventExecutorGroup;Ljava/util/concurrent/Executor;ZLjava/util/Queue;Lio/netty/util/concurrent/RejectedExecutionHandler;)Vnetty版本冲突,我们在idea的Terminal执行mvn depende..原创 2021-07-29 19:44:45 · 1434 阅读 · 0 评论 -
spark ERROR StatusLogger No log4j2 configuration file found.日志报错
spark ERROR StatusLogger No log4j2 configuration file found.这个错误是因为没有添加配置文件,我们在Idea项目的Resource目录下面创建一个log4j2日志的xml配置文件再执行程序就不报这个错了原创 2021-07-29 19:00:35 · 442 阅读 · 0 评论