安装Idea(集成scala)以及在windows上配置spark(hadoop依赖)本地开发环境

最新推荐文章于 2024-08-05 19:33:08 发布
置顶 最新推荐文章于 2024-08-05 19:33:08 发布
阅读量2.6k 收藏 4
点赞数 2
分类专栏： 开发环境 文章标签： idea spark winutils.exe NoSuchMethodError hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lucas8264/article/details/78985044
版权
本文介绍了如何在Windows 10上重新配置IDEA和Scala开发环境，以及解决Spark运行时缺少Hadoop依赖的问题。通过下载特定版本的IDEA和Scala插件，设置环境变量来解决winutils.exe找不到的错误，并处理Scala版本与Spark版本不兼容的异常。
摘要由CSDN通过智能技术生成

这两天花了点时间重装了win 10,必要的开发常用工具如IDE Idea以及运行spark等任务需要的hadoop本地依赖环境重新配起来，记录下简要步骤和几个小问题希望能给正在学习的小伙伴一点帮助。
解决idea环境中spark版本与scala版本不兼容问题。
idea及scala插件安装建议
01、idea选择版本
https://www.jetbrains.com/idea/download/previous.html (idea官网历史版本下载页面)
首先去官网下载windows对应版本，如果最新版是非必要的建议下载比最新版低1到2个小版本号的idea zip包。呵呵，稳定绿色方便无需安装，解压后直接将idea64.exe(64位OS) or idea.exe(32位OS)快捷方式添加到桌面即可。
这里写图片描述
这里写图片描述
02、

最低0.47元/天 解锁文章
lucas8264
关注
专栏目录
Hadoop入门系列（二）idea配置hadoop开发环境
_DrZ_的博客
05-05 2万+
主要分两部分:一、idea配置hadoop开发环境。二、idea安装hadoop插件。一、1.为了便于各个版本的hadoop获得对应jar包以及其依赖jar包。搭建maven项目是个很好的选择。创建一个无原型的maven项目。2.在porn.xml的project内添加镜像网站和一些需要依赖的核心jar包。注意：版本号对应自己hadoop的版本号。有些通用包比如hadoop-core，在maven...
windows上配置hadoop并通过idea连接本地spark和服务器spark
个人学习笔记库，一篇一篇记录成长的足迹
01-29 3004
windows上安装hadoop，用idea开发工具连接，实现独立应用的java spark程序。
idea安装scala开发插件与源码包配置
最新发布
taogumo的专栏
08-05 255
idea安装scala开发插件
Windows下搭建Spark+Hadoop开发环境
weixin_34288121的博客
04-28 134
只需要确保您的电脑已装好Java环境，那么就可以开始了。   一. 准备工作 1. 下载Hadoop2.7.1版本（写Spark和Hadoop主要是用到了Yarn，因此Hadoop必须安装） 下载地址：http://apache.fayea.com/hadoop/common/hadoop-2.7.1/ 下载其中的hadoop-2.7.1.tar.gz并解压到一个固定目录作为Hadoop安装目录。...
idea添加scala环境_Windows开发Flink,Spark环境配置
weixin_39639653的博客
12-20 151
1.本地开发环境安装1..本地添加如下映射(windows地址:C:\Windows\System32\drivers\etc)192.168.83.48node-master1pZiu192.168.83.158node-str-coreHikL192.168.83.174node-str-coreJHEU192.168.83.193node-str-corekYpN192.1...
windows配置spark开发环境
chaney的博客
04-15 1710
本文详细介绍了基于IDEA如何做windows10操作系统上配置spark、scala程序的开发环境。
IDEA对于Hadoop的配置
StephenYou的自习室
08-11 392
文章目录IDEA对于Hadoop的配置镜像设置Maven设置 IDEA对于Hadoop的配置 镜像设置 修改本地windows路径{$MAVEN_HOME/conf/settings}的settings文件。 <!--本地仓库所在位置--> <localRepository>F:\m2\repository</localRepository> <!--使...
Windows下配置IDEA的Spark的开发环境
01-20
Windows下配置IDEA的Spark的开发环境 下载Spark-hadoop的文件包，spark-2.4.5-bin-hadoop2.7，官网进行下载http://spark.apache.org/downloads.html IDEA下载Scala语言的开发插件，进行安装重启； 下载scala的包并...
hadoop本地windows开发环境配置
01-16
### hadoop本地Windows开发环境配置 #### 一、Hadoop开发环境配置 为了在Windows环境下进行基于Spark的分布式数据处理，首先需要配置好Hadoop的开发环境。这一步主要是为了确保能够本地提交并运行Hadoop MapReduce...
0070 IntelliJ IDEA+Scala+Hadoop +Spark的开发环境搭建
gendlee1991的专栏
09-22 2825
IntelliJ IDEA+Scala+Hadoop +Spark的开发环境搭建，解决了遇到的各类问题。
windows idea中用scala操作本地spark，hadoop，及打包成jar 详细步骤
csdn_dengfan的博客
03-10 1497
目标： 在idea中用scala编写简单代码，从本地hdfs中（或本地目录）读取文件，通过spark处理后，结果输出到本地dhfs或本地目录。 然后修改代码，将项目打成jar包，上传到linux中，在spark集群上运行。 环境：hadoop2.7.2 +spark2.2.3 +scala 2.11.8 +idea2018 以上环境的具体安装配置和idea的基本操作分别见： win...
IDEA中配置hadoop开发环境
热门推荐
chaoping315的专栏
12-26 2万+
IDEA中整合hadoop开发环境 前言： hadoop程序运行在分布式环境下，运行调试MapReduce只需要对应的hadoop相应的依赖jar包就可以，下面以是在伪分布模式下hadoop程序的开发与调试IDEA环境的配置 环境： 操作系统:Ubuntu 16 hadoop: hadoop-3.0.0-alpha2 java: java 1.8 IDEA:idea-
idea连接Hadoop以及通过Java将Hadoop中的文件数据写入数据库中
爱笑的博客
04-05 3575
idea 连接Hadoop 文章目录idea 连接Hadoop1.新建maven项目2.添加hadoop相关jar包3.配置log4j.properties文件3.编写HDFS工具类 1.新建maven项目 2.添加hadoop相关jar包 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common<
idea使用Hadoop集群（搭建及简单使用）
weixin_45894479的博客
03-17 2348
Hadoop-java 我们学习了HDFS架构及原理，此时我们来学习如何将Hadoop与Java相结合进行开发，这也是大家学习大数据最后打交道最多的内容，毕竟在linux上未免不是那么顺手… …是吧 … 1.首先配置好环境变量 ​ 新建一个系统变量 ​ 2 新建Maven工程。 添加pom依赖，这里注意对应的hadoop版本 <dependencies> <dependency> <groupId>junit&lt
IDEA配置Hadoop插件
manmanlu2006的博客
08-23 2397
一、安装插件 1.1搜索的方式安装： 如果还是不行，你可以在cmd里面ping plugins.jetbrains.com 一下 https://my.oschina.net/u/4359728/blog/3305115 1.2 第二种本地插件的安装（成功） 我的是2018版的IDE，还是搜不到，搜到了如下办法： https://blog.csdn.net/weixin_43311978/article/details/105558773?utm_medium=distribut...
windows下安装hadoop
郁闷之春的专栏
12-30 351
windows下安装hadoop主要用于开发测试用 1、安装cygwin 2、把hadoop-2.9.2.tar.gz拷贝到$HOME下，这个位置在 $ echo $HOME /home/Administrator 3、创建文件夹 mkdir  /HOME/ hadoopstandalone 4、解压缩 tar -zxf /HOME/hadoop-2.9.2.tar.gz  -C /...
IDEA 打包 spark 程序 并在远程 hadoop HA 上运行测试
machen990519的博客
04-09 430
1. idea   安装创建 （略）2。创建 scala 的 Maven  项目  （略）3。导入maven 依赖  （重要）&lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://ma...
hadoop2.9 idea_idea配置hadoop
weixin_33321992的博客
12-23 237
idea配置hadoop(1)准备工作1) 安装JDK 6或者JDK 72) 安装scala 2.10.x (注意版本)2)下载Intellij IDEA最新版(本文以IntelliJ IDEA Community Edition 13.1.1为例说明，不同版本，界面布局可能不同)3)将下载的Intellij IDEA解压后，安装scala插件，流程如下：依次选择“Configure”–&gt...
Windows环境下Hadoop与Spark本地开发配置指南
配置主要包括设置Hadoop环境变量、安装IDEA的Scala插件、安装Scala SDK以及准备Hadoop和Spark的jar包。" 在Windows环境下配置Hadoop开发环境对于使用Spark进行分布式数据处理至关重要。以下是一步步详细步骤： **...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值