spark安装踩坑

最新推荐文章于 2024-05-07 16:08:49 发布
最新推荐文章于 2024-05-07 16:08:49 发布
阅读量1.8k 收藏 2
点赞数
分类专栏： spark 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Szcollar/article/details/116505853
版权

spark安装踩坑

1.下载文件

在这里插入图片描述

应当下载前三个，最后一个很小估计只有代码资源，该有的包都没有。于是直接运行bin/spark-shell 时会报错：Failed to find Spark jars directory (/opt/module/spark-3.1.1/assembly/target

2.JNI error

报错：A JNI error has occurred, please check your installation and try again

这种情况是由于*/opt/module/spark-3.1.1-bin-without-hadoop/conf目录下的配置文件spark-env.sh.template*没有配置，首先使用如下命令：

cp spark-env.sh.template spark-env.sh

然后根据官方文档中的描述添加配置信息：

最低0.47元/天 解锁文章
Szcollar
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark的常见问题
则为你如花美眷，似水流年
03-13 3086
最近在研究spark，遇到问题就记录一下，版本号是spark-0.9.0-incubating-bin-hadoop1 1.使用sbt assembly编译之后使用run-example出现如下错误 bin/run-example: line 47: [: /home/cookies/Downloads/spark-0.9.0-incubating-bin-hadoop1/examples
Failed to find Spark jars directory. You need to build Spark before running this program.
孙不坚1208
06-13 1035
在执行spark-shell时出现报错： Failed to find Spark jars directory. You need to build Spark before running this program.
在pycharm使用pyspark报错：Failed to find Spark jars directory. You need to build Spark before running
qq_41587397的博客
05-03 4208
具体报错：Failed to find Spark jars directory. You need to build Spark before running 解决办法：pycharm创建的项目文件夹路径不能有空格，改掉即可 改成没有空格的项目名即可 ...
Spark安装教程
最新发布
m0_74972727的博客
05-07 670
【代码】Spark安装教程。
Spark2.3 最新 源码阅读 - spark启动脚本
loveyy的博客
07-17 823
最近一直在看源码方面的东西，发现关于spark2.3的源码解读还是比较少，索性自己试着写写。 首先就从脚本阅读开始，希望能做到每天看一点，收获一点 脚本核心主要有:spark-shell spark-submit spark-class load-spark-env find-spark-home。位于源码 spark/bin下面 spark-shell 主要功能： 判断系统环境 开启p...
在Windows启动pyspark shell：Failed to find Spark jars directory. You need to build Spark before running ...
weixin_30591551的博客
07-31 6759
D:\Develop tools\spark-2.2.0-bin-hadoop2.7\bin>pyspark2.cmd 'tools\spark-2.2.0-bin-hadoop2.7\bin\..\jars""\' 不是内部或外部命令，也不是可运行的程序或批处理文件。Failed to find Spark jars directory.You need to build Spark b...
spark-submit源码解析
cclovezbf的博客
10-31 516
简化为 /data/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/spark/bin/spark-class org.apache.spark.deploy.SparkSubmit "$@"exec $LIB_DIR/spark/bin/spark-submit "$@" --再次把参数传递给另外一个spark-submit。${CLOUERA_HOME}/spark/jars/*: --这里就有我们上面提到的proto jar。
Spark踩坑
寄情于码
09-22 5757
Spark sql以elasticSearch为数据源，访问数据，问题记录表： 问题1： java.lang.RuntimeException: java.io.InvalidClassException: org.apache.spark.rpc.netty.RequestMessage; local class incompatible: stream classdesc serialVe
Spark踩坑记——SparkStreaming+Kafka
02-25
在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。...
大数据踩坑集锦
10-25
大数据你一定会碰到的坑，这里告诉你答案，kafka数据流崩裂后你如何hadoop离线和spark实时呢
Spark学习笔记之Spark SQL的具体使用
08-25
主要介绍了Spark学习笔记之Spark SQL的具体使用,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
5、资源价值：大数据组件搭建的详细实践步骤、一次性提供较全面的常用大数据集群及组件安装部署内容、资源是博主结合官网文档+网上各类搭建文档+本人亲自实践后总结整合的文档（包括过程踩坑记录+对应解决方案）。
spark写DSL读取elasticsearch数据（内附踩坑点）
01-07
在一些场景下我们可能会遇到需要从es导出一部分特定的数据然后进行处理这样的情况，这个时候spark会是一个不错的选择。 第一步 maven配置 这里一些工具使用的版本： spark：2.3.4 elasticsearch：7.0.0 scala：...
Linux安装Spark-详细步骤及常见报错
Data _designer
03-24 4912
目录 一、前期环境配置 Hadoop单机环境搭建 Java环境搭建 二、Spark安装及相关配置 三、Hadoop及Spark安装报错 一、前期环境配置 Hadoop单机环境搭建 创建新用户hadoop sudo useradd -m hadoop -s /bin/bash sudo passwd hadoop #设置密码 sudo adduser hadoop sudo #增...
build spark
diwu20060107的博客
02-27 586
Error : Failed to find Spark jars directory (/home/pl62716/spark-2.2.0-SNAPSHOT/assembly/target/scala-2.10/jars).You need to build Spark with the target "package" before running this program. ...
配置Spark时Error: A JNI error has occurred, please check your installation and try again
ZhifanSk的博客
04-11 6015
在Spark官网下载Spark时可以选择下载带Hadoop和不带Hadoop的版本。 如果选择下载不带Hadoop的版本，需要在${SPARK_HOME}/conf/spark-env.sh中export环境变量SPARK_DIST_CLASSPATH，否则会在启动时遇到A JNI error has occurred, please check your installation and try...
spark安装使用及编程和问题解决
weixin_43952095的博客
05-29 1989
1、安装spark（Hadoop、JAVA JDK已安装） 命令如下： sudo tar -zxf /home/ra/spark-1.6.2-bin-without-hadoop.tgz -C /usr/local/ cd /usr/local sudo mv ./spark-1.6.2-bin-without-hadoop/ ./spark sudo chown -R ra:ra ./spark...
找不到spark-assembly-*.jar
dumb123的博客
01-30 3813
spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在。原来的jar包分解为：jars/*.jar。
spark踩坑系列1——spark streaming+kafka
07-27
spark streaming 是基于 spark 引擎的实时数据处理框架，可以通过集成 kafka 来进行数据流的处理。然而，在使用 spark streaming 进行 kafka 数据流处理时，可能会遇到一些坑。 首先，要注意 spark streaming 和 kafka 版本的兼容性。不同版本的 spark streaming 和 kafka 可能存在一些不兼容的问题，所以在选择版本时要特别留意。建议使用相同版本的 spark streaming 和 kafka，以避免兼容性问题。 其次，要注意 spark streaming 的并行度设置。默认情况下，spark streaming 的并行度是根据 kafka 分区数来决定的，可以通过设置 spark streaming 的参数来调整并行度。如果并行度设置得过高，可能会导致任务处理过慢，甚至出现 OOM 的情况；而设置得过低，则可能无法充分利用集群资源。因此，需要根据实际情况进行合理的并行度设置。 另外，要注意 spark streaming 和 kafka 的性能调优。可以通过调整 spark streaming 缓冲区的大小、批处理时间间隔、kafka 的参数等来提高性能。同时，还可以使用 spark streaming 的 checkpoint 机制来保证数据的一致性和容错性。但是，使用 checkpoint 机制可能会对性能产生一定的影响，所以需要权衡利弊。 最后，要注意处理 kafka 的消息丢失和重复消费的问题。由于网络或其他原因，可能会导致 kafka 的消息丢失；而 spark streaming 在处理数据时可能会出现重试导致消息重复消费的情况。可以通过配置合适的参数来解决这些问题，例如设置 KafkaUtils.createDirectStream 方法的参数 enable.auto.commit，并设置适当的自动提交间隔。 总之，在使用 spark streaming 进行 kafka 数据流处理时，需要留意版本兼容性、并行度设置、性能调优和消息丢失重复消费等问题，以免踩坑。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值