【若泽大数据实战第十五天】HDFS编程 IDEA创建一个Maven的scala的模板工程

最新推荐文章于 2021-11-17 20:49:40 发布
最新推荐文章于 2021-11-17 20:49:40 发布
阅读量422 收藏
点赞数
分类专栏： 【若泽大数据】零基础班实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24073707/article/details/80511128
版权
本文介绍了如何在IDEA中创建一个基于Maven的Scala工程，专注于Hadoop编程。首先，从零开始搭建项目，通过设置Maven并选择scala-tools插件。接着，详细说明了如何修改项目路径和名称，下载hadoop-common的依赖，并将所需代码导入IDEA。在项目中新建包和HDFS类，实现了HDFS的简单操作，包括配置core-site.xml并根据个人环境调整IP地址。
摘要由CSDN通过智能技术生成

前言：

从本次课程正式加入到编程的行列中来，以前编程的经验不多，通过此次学习希望可以获得更多的收获。

Hadoop编程

创建一个Maven的scala的模板工程

新的项目


对Maven进行设置


选择 scala-tools


填写信息


修改路径

最低0.47元/天 解锁文章
scala的maven项目读取配置文件
pan_haufei的博客
04-28 1678
scala的maven项目读取src/main/resources目录下的资源文件该如何读取呢？ 下面提供一种默认的和一种自定义的： 对于application.conf配置文件，是默认的配置文件： application.conf内容如下： mysql {  url : "jdbc:mysql://192.168.76.14:3306/ibigdata?useUnicode=tru
scala读取本地hdfs_IDEA编写wordcount，读取hdfs文件，运行在Spark集群例子
weixin_28362173的博客
12-29 629
IDEA编写wordcount，读取hdfs文件，运行在Spark集群例子发布时间：2018-10-31 10:10,浏览次数：822, 标签：IDEAwordcounthdfsSpark前期：已安装好hadoop集群和spark集群，hadoop2.6.5，spark2.3.1，jdk1.8. scala2.1.0第一步：在idea编写scala程序，并且要打包(pom文件的build标签中配置...
使用IDEA编写客户端程序操作HDFS
敲代码的余文乐的博客
07-02 585
以API方式编写程序操作HDFS import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; public class HdfsClientDemo { public static void main(String[] args) throws Exception { ...
使用maven的模板archetype 来创建scala项目
袭明君的专栏
07-16 3224
文档参考：https://docs.scala-lang.org/tutorials/scala-with-maven.html new project—>maven—>create from archetype—>add archetype 填入模板的gav - g：net.alchim31.maven - a: scala-archetype-simple ...
用scala，hadoop，maven环境搭建
王者的博客
08-16 142
1.配置好maven <properties> <maven.compiler.source>1.7</maven.compiler.source> <maven.compiler.target>1.7</maven.compiler.target> <encoding>UTF-8</encoding> <scala.version>2.10.6&...
大数据MapReduce Ubuntu Linux上的Hadoop Scala by Maven intellj Idea
04-11
标题中的“大数据MapReduce Ubuntu Linux上的Hadoop Scala by Maven intellj Idea”表明，这篇文章将深入探讨如何在Ubuntu Linux操作系统上使用Scala编程语言，通过Maven构建工具来开发Hadoop MapReduce项目，并在...
Intellij IDEA--Maven创建Spark工程
timicai的博客
11-03 1453
Maven创建Spark工程一、创建Maven项目二、添加依赖三、编写Spark源代码 一、创建Maven项目 创建quickstart的maven的项目： 编写组名和项目名： 修改Maven的安装目录 点击完成 二、添加依赖 在pom.xml中添加依赖，选择import-change 根据当前使用的jdk和spark版本选择修改版本号 <!--修改jdk版本号--> <properties> <project.build.sourceEnc
Intellij IDEA编写Spark应用程序超详细步骤（IDEA+Maven+Scala）
Wingkin的博客
12-16 1万+
本文介绍Intellij IDEA编写Spark应用程序，项目使用maven构建。
IntelliJ IDEA构建基于maven的spark+hbase工程（scala语言）
豪大大的博客
11-08 5046
利用IDEA来编写基于maven的scala程序，主要功能用来支持从hbase中拉取数据供spark进行mapreduce运算。
在IDEA中安装scala、maven、hadoop遇到的问题
qq_43513485的博客
10-09 270
小白在通过IDEA使用scala、maven、hadoop遇到的问题 问题一：idea new 新文件没有scala；File->setting->Plugins，然后搜索scala插件安装。安装完成后重启idea。然后设置Scala sdk: File->Project Structure->Libraries->+ 问题二：Maven的的导入时mvn不是内部或外部命令…；这是环境变量没有配置好，下图附环境变量： 在D:\maven\apache-maven-3.6.1\c
大数据组件配置(Scala-Maven-Hadoop)
无
05-12 434
--------------------------------------------------------scala安装-----------------------------------------------------------scala安装： 下载---》解压---》配置系统变量----》检查是否安装成功百度scala ---&gt;点击down----&gt;选择之前的版本--...
windows idea中用scala操作本地spark，hadoop，及打包成jar 详细步骤
csdn_dengfan的博客
03-10 1544
目标： 在idea中用scala编写简单代码，从本地hdfs中（或本地目录）读取文件，通过spark处理后，结果输出到本地dhfs或本地目录。 然后修改代码，将项目打成jar包，上传到linux中，在spark集群上运行。 环境：hadoop2.7.2 +spark2.2.3 +scala 2.11.8 +idea2018 以上环境的具体安装配置和idea的基本操作分别见： win...
IntelliJ IDEA下 Maven 创建 Scala 项目
热门推荐
kong
01-13 2万+
环境：IntelliJ IDEA 版本：Spark-2.2.1 Scala-2.11.0 利用 Maven 第一次创建 Scala 项目也遇到了许多坑 创建一个 Scala 的 WordCount 程序 第一步：IntelliJ IDEA下安装 Scala 插件 安装完 Scala 插件完成 第二步：Maven 下 Scala 下的项目创建
IDEA创建Scala项目详细教程（以maven项目为例子）
弗兰-随风小欢的博客
11-13 1万+
IDEA创建Scala项目简介前提准备详细操作流程 简介 最近在复习Scala知识，之前没有记录IDEA创建Scala(以maven项目为准)项目。这篇文章将详细记录创建的整个详细过程，并着重讲解注意的几个地方。 前提准备 在此之前我们需要已经搭建好JDK环境并且已经下载好Scala的SDK(在这里当然你也可以在IDEA里面根据提示下载Scala的SDK，不过不推荐，因为下载的过于缓慢)，所以我在...
Intellij idea下hadoop的开发环境搭建和相应的编程实践（HDFS）
Ding_xiaofei的博客
05-19 1万+
开篇 先简单描述一下这边博客主要要讲的内容，首先是配置idea可以编写hadoop的程序，然后是一个操作hdfs的小程序演示。 Hadoop的搭建 一直跟随的是厦门大学林老师的课程，这边是hadoop的搭建教程的链接，我是用自己的机子搭建的单机伪分布式。所以下面的一些操作都是适用于单机伪分布式的。 idea开发环境的搭建 这边需要我们做的是两件事，导入jar包，林老师的教程就让我导入了两...
maven-scala-通用模板
program哲学
11-17 587
maven-scala-通用模板 可实现编译 打包、打依赖包、导出依赖包！ 快来看pom文件 <?xml version="1.0" encoding="UTF-8" standalone="no"?> <project xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://maven.apache.org/POM/4.0.0" xsi:schemaLocation="http://mav
idea用spark本地操作hdfs集群
doujiayun3939的博客
11-14 4037
在windows开发机上使用spark的local模式读取远程hadoop集群中的hdfs上的数据，这样的目的是方便快速调试，而不用每写一行代码或者一个方法，一个类文件都需要打包成jar上传到linux上，再扔到正式的集群上进行测试，像功能性验证直接使用local模式来快速调测是非常方便的，当然功能测试之后，我们还需要打包成jar仍到集群上进行其他的验证比如jar包的依赖问题，这个在local模式...
hadoop-hdfs-文件工具类（Scala）
program哲学
03-14 4223
package com.avcdata.spark.job.utilimport java.io.{File, FileInputStream, FileOutputStream, IOException}import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.{FileStatus, FileSystem, F
Scala列出hdfs目录下的文件
@羲凡—只为更好的活着
01-30 4071
@羲凡——只为了更好的活着 Spark列出hdfs目录下的文件(scala) 在最近的一个业务中需要列出hdfs上某个目录下的所有文件，再过滤出自己需要的文件，进行spark循环，在网上找到了篇博客非常有用，我稍微简化了一下，拿走不谢。如果喜欢原博主文章点这里 https://blog.csdn.net/dkl12/article/details/84312307 尊重原博主。字节上代码： pac...
Hadoop在Ubuntu Linux上应用Scala开发大数据MapReduce指南
- 通过Maven创建一个新的Scala项目，并设置相关的依赖项，包括Hadoop的Scala接口。 - 使用IntelliJ Idea打开项目，并开始编写MapReduce代码。文档可能会提供一个简单的示例代码，比如实现一个计算文本中单词出现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值