记录一次本地调试Spark需要用Hadoop的问题

最新推荐文章于 2024-08-10 16:43:15 发布
最新推荐文章于 2024-08-10 16:43:15 发布
阅读量381 收藏 2
点赞数
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huangzhigao886/article/details/116034054
版权
首次运行Spark本地DEMO时，由于缺少Hadoop环境，可能会遇到winutils.exe错误。解决方法包括：从官网下载并安装Hadoop，配置环境变量，下载winutils工具并替换到Hadoop的bin目录，若环境变量不生效则需重启电脑。按照这些步骤，可以成功解决Spark在Windows上的运行问题。
摘要由CSDN通过智能技术生成

如果是第一次使用Spark，运行简单的demo,本地又没有安装Hadoop的配置环境，会报错，报winutils.exe 不存在

解决思路如下：
1安装Hadoop，从官网下载对应的版本
2解压到本地
3配置环境变量
在这里插入图片描述

4、从网上下载winutils的工具，可以从github上下载
5、解压，替换掉hadoop的bin目录
6、因为window比较傻逼，环境变量不生效，可以重启电脑
7、再次执行Spark程序

被风吹过的回忆
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark安装 （含JAVA, Hadoop安装）
bmwlwg的博客
01-28 1116
Part I. 安装软件 为了安装Spark，本次安装同时安装了JAVA1.8, Hadoop2.7.7和Spark-2.4.4, 具体如下： Part II. JAVA安装 Java 下载地址： https://www.oracle.com/technetwork/java/javase/downloads/index.html 2.1 JAVA安装 主要是JDK安装。 ...
Spark在本地及Hadoop上运行方式
yao09605的博客
01-12 1480
刚刚安装了Hadoop以及spark就非常兴奋的想要试用一下，我们还是拿Wordcount这个小应用来实验 首先实验本地版本的pyspark $ pyspark shell就启动起来了 >>> sc.master u'local[*]' 可以看到是本地master >>> text = sc.textFile("shakespeare.txt") >&...
hadoop本地模式部署_您需要HADOOP来运行SPARK吗？
weixin_42122838的博客
01-03 304
Hadoop和Apache Spark都是当今蓬勃发展的开源大数据框架。尽管Hadoop和Spark并没有做同样的事情，但是它们是相互关联的。大数据处理无处不在Hadoop的需求。但是，尽管Hadoop具有许多重要的功能和数据处理优势，但它仍存在一个主要缺点。Hadoop的本地批处理引擎MapReduce不如Spark快。这就是Spark超越Hadoop的优势。除此之外，当今大多数大数据项目都需要...
本地调试spark任务demo
u012447842的博客
09-28 1455
本地电脑联调spark任务入门级
Spark搭建/Hadoop集群
weixin_55946594的博客
10-30 2636
Spaek基础搭建；基于Hadoop集群.
windows下idea本地调试hadoop/spark
未来将会如何
05-22 616
hadoop： 下载hadoop2.7.6.tar.gz，解压 设置HADOOP_HOME，将%HADOOP_HOME%\bin\加入Path， 解压hadoop2.7.6_hadoop_dll_winutil_exe粘贴到bin目录，将winutils.exe粘贴到System32下 在项目的pom.xml中加入以下依赖 <dependency> <group...
spark 与 hadoop的hdfs的连接（亲测有效）
热门推荐
AStar的博客
04-03 1万+
出处：：http://blog.csdn.net/oopsoom/article/details/24257981， 目前Spark的Run on的Hadoop版本大多是hadoop2以上，但是实际上各个公司的生产环境不尽相同，用到2.0以上的公司还是少数。 大多数公司还是停留在1代hadoop上，所以我就拿spark0.91 +  hadoop0.20.2-cdh3u
spark1.3与hadoop2.6环境配置
05-07
首先，我们需要理解 Spark 的运行模式，它支持四种主要的执行模式：本地模式（Local）、独立模式（Standalone）、Hadoop YARN 模式和 Mesos 模式。在与 Hadoop 2.6 集成时，我们通常选择 YARN 模式，因为 YARN 提供...
hadoop&spark环境配置.pdf
07-16
### Hadoop & Spark 环境配置知识点 #### 一、Hadoop 集群部署的要点 **1.1 Java版本与Hadoop版本兼容性** - **HBase 1.4+**: JDK7 支持，JDK8 不支持。 - **HBase 2.3+**: JDK8 支持，JDK11 初步支持。 - **...
基于Hadoop的文件词频统计的实现（大数据技术课程设计）
07-14
- **上传文件到HDFS**：使用`hadoop fs -put <localfile> <hdfsdir>`命令将本地文件上传到HDFS指定目录。 - **查看HDFS文件**：使用`hadoop fs -ls <hdfsdir>`命令查看文件列表。 ##### 2.4 编程实现词频统计与 ...
大数据之路选择Hadoop还是MaxCompute？Hadoop开源与MaxCompute对比材料
06-27
相比Hadoop，MaxCompute更加侧重于云服务模式，提供了一系列的API接口供用户调用，降低了使用门槛。 - **整体介绍**：MaxCompute支持多种数据处理方式，包括SQL查询、MapReduce计算等，并提供了丰富的功能，如数据...
Spark 本地连接远程服务器上带有kerberos认证的Hive
主要分享大数据相关的知识，如Spark、Hudi
11-01 4750
前言 因为公司的测试环境带有kerberos，而我经常需要本地连接测试集群上的hive，以进行源码调试。而本地认证远程集群的kerberos，并访问hive，和在服务器上提交Spark程序代码有些不同，所以专门研究了一下 并进行总结。 服务器上 在服务器上提交Spark程序认证kerberos比较简单，有两种方法： 使用kinit 缓存票据 kinit -kt /etc/security/keytabs/hive.service.keytab hive/indata-192-168-44-128.inda
如何使用Spark的local模式远程读取Hadoop集群数据
三劫散仙
03-31 6367
我们在windows开发机上使用spark的local模式读取远程hadoop集群中的hdfs上的数据，这样的目的是方便快速调试，而不用每写一行代码或者一个方法，一个类文件都需要打包成jar上传到linux上，再扔到正式的集群上进行测试，像功能性验证直接使用local模式来快速调测是非常方便的，当然功能测试之后，我们还需要打包成jar仍到集群上进行其他的验证比如jar包的依赖问题，这个在local
Spark连接Hadoop读取HDFS问题小结
架构设计
09-12 429
Spark与hadoop版本 我使用0.7.2的Spark版本，且是pre-built过的版本，支持的hadoop版本是hadoop1。在http://spark-project.org/files/上能下载的预编译过的spark版本里，凡是预编译cdh4的压缩包，下载后解压会中断，文件本身有问题。我在google论坛上发帖说明了这个问题：https://groups.google.com/fo...
Spark 和 Hadoop 本地【window】环境搭建
山鬼谣的专栏
06-20 1741
环境 Spark：2.3.1 Hadoop：2.7.6 java：1.8 前言 最近主要是在学习Spark，根据官网的文档，想本地跑个小程序看看效果； https://spark.apache.org/docs/latest/quick-start.html#self-contained-applications 具体想执行的官方代码如下： /* SimpleApp.java ...
idea本地和远程测试hadoop和spark
u012089465的博客
07-18 1385
两份代码的位置： 链接：https://pan.baidu.com/s/1cZLKhuYCnCJunsbs89CVnQ 密码：qwwy wordcount_s====&gt;spark代码 wordcount====&gt;hadoop代码 hadoop的代码： 1.本地运行： 代码： package com.itstar; import org.apache.hadoop.con...
spark本地调试hive
可为的专栏
10-19 5777
spark2.1.0本地调试hive
Spark SQL Catalyst工作流程
最新发布
xiaoliuxxs
08-10 812
比如join 算子，Spark根据不同场景为该算子制定了不同的算法策略，有 BroadcastHashJoin、ShuffleHashJoin 以及 SortMergejoin 等，**物理执行计划实际上就是在这些具体实现中挑选一个耗时最小的算法实现。RDD的运行流程：RDD-> DAGScheduler -> TaskScheduler -> worker，任务会按照编写的代码运行，代码运行效率依赖于开发者的优化，开发者会在很大程度上影响运行效率。就是提前将需要的列查询出来，其他不需要的列裁剪掉。
idea使用spark需要下载hadoop码
07-16
是的，如果你想在 Spark 中使用 Hadoop，你需要下载 H 的安装包并进行相应的配置。Spark 可以与 Hadoop 集成，以便于在分布式环境中处理大规模数据。 首先，你需要从 Hadoop 官方网站（https://hadoop.apache.org/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值