2.4 IDEA开发词频统计项目

最新推荐文章于 2024-07-16 19:52:57 发布
最新推荐文章于 2024-07-16 19:52:57 发布
阅读量789 收藏 1
点赞数
文章标签： intellij-idea java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_62590351/article/details/130970521
版权

一、词频统计准备工作

（一）启动集群的HDFS与Spark

启动HDFS服务
在这里插入图片描述
启动Spark集群
在这里插入图片描述

（二）在HDFS上准备单词文件

在master虚拟机上创建单词文件 - words.txt
在这里插入图片描述
将单词文件上传到HDFS指定目录/wordcount/input
在这里插入图片描述

二、本地模式运行Spark项目

（一）新建Maven项目

在这里插入图片描述
在这里插入图片描述

（二）添加项目相关依赖

在这里插入图片描述

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
          http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>net.cxf.rdd</groupId>
    <artifactId>SparkRDDWordCount</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.12.15</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.1.3</version>
        </dependency>
    </dependencies>
    <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
    </build>
</project>

（三）创建日志属性文件

在这里插入图片描述

log4j.rootLogger=ERROR, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spark.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

（四）添加Scala SDK

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

（五）创建HDFS配置文件

在resources目录里创建hdfs-site.xml文件，允许客户端使用数据节点（因为本机外网访问私有云上的集群）
在这里插入图片描述

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <property>
        <description>only config in clients</description>
        <name>dfs.client.use.datanode.hostname</name>
        <value>true</value>
    </property>
</configuration>

（六）创建词频统计单例对象

创建net.cxf.rdd包，然后在包里创建WordCount单例对象在这里插入图片描述

package net.cxf.rdd

import org.apache.spark.{SparkConf, SparkContext}

/**
 * 功能：利用RDD实现词频统计
 * 作者：cxf
 * 日期：2023年04月12日
 */
object WordCount {
  def main(args: Array[String]): Unit = {
    // 创建Spark配置对象
    val conf = new SparkConf()
      .setAppName("SparkRDDWordCount") // 设置应用名称
      .setMaster("local[*]") // 设置主节点位置（本地调试）
    // 基于Spark配置对象创建Spark容器
    val sc = new SparkContext(conf)
    // 声明输入输出路径
    var inputPath = ""
    var outputPath = ""
    // 判断命令行参数个数
    if (args.length == 0) {
      inputPath = "hdfs://master:9000/wordcount/input"
      outputPath = "hdfs://master:9000/wordcount/output"
    } else if (args.length == 2) {
      inputPath = args(0)
      outputPath = args(1)
    } else {
      println("温馨提示：命令行参数个数只能是0或2~")
    }
    // 进行词频统计
    val wc = sc.textFile(inputPath)  // 读取文件，得到RDD
      .flatMap(_.split(" ")) // 扁平化映射，得到单词数组
      .map((_, 1)) // 针对每个单词得到二元组（word, 1)
      .reduceByKey(_ + _) // 按键进行聚合（key相同，value就累加）
      .sortBy(_._2, false) // 按照单词个数降序排列
    // 在控制台输出词频统计结果
    wc.collect.foreach(println)
    // 将词频统计结果写入指定文件
    wc.saveAsTextFile(outputPath)
    // 停止Spark容器，结束任务
    sc.stop
  }
}

（七）运行程序，查看结果

在这里插入图片描述
然后查看HDFS上的结果文件
在这里插入图片描述
显示结果文件内容
在这里插入图片描述
有两个结果文件，我们可以分别查看其内容
在这里插入图片描述
再次运行程序，会报错说输出目录已经存在
在这里插入图片描述
删除输出目录
在这里插入图片描述
再次运行程序，查看结果
在这里插入图片描述

三、集群模式运行Spark项目

（一）利用Maven打包

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
          http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>net.cxf.rdd</groupId>
    <artifactId>SparkRDDWordCount</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.12.15</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.1.3</version>
        </dependency>
    </dependencies>
    <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>3.3.0</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.3.2</version>
                <executions>
                    <execution>
                        <id>scala-compile-first</id>
                        <phase>process-resources</phase>
                        <goals>
                            <goal>add-source</goal>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                    <execution>
                        <id>scala-test-compile</id>
                        <phase>process-test-resources</phase>
                        <goals>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>

在这里插入图片描述
在这里插入图片描述

（二）利用IDEA打包

删除pom.xml文件里的构建插件
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
将生成的jar包上传到master虚拟机/home目录
在这里插入图片描述
查看上传的jar包
在这里插入图片描述

（三）执行提交命令

1、不带参数执行

（1）采用client提交方式
在这里插入图片描述
在这里插入图片描述
查看结果文件内容
在这里插入图片描述
删除输出目录
在这里插入图片描述
（2）采用cluster提交方式
首先将词频统计jar包上传到HDFS指定目录
在这里插入图片描述
在这里插入图片描述
在Spark WebUI里查看（Driver running on 192,168,1,102:37530，表明Driver是在slave1节点上运行）
在这里插入图片描述
单击stdout超链接
在这里插入图片描述

2、带参数执行

（1）采用client提交方式
在这里插入图片描述
在一堆输出信息里查看词频统计结果
在这里插入图片描述
删除输出目录
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
（2）采用cluster提交方式
在这里插入图片描述
在Spark WebUI里查看
在这里插入图片描述
单击stdout超链接
在这里插入图片描述

不喜欢编程的我
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
idea实现词频统计以及maven的使用
weixin_62682189的博客
05-22 256
Ubuntu22.04.2，idea2020.2.4，maven-3.6.3~~~
【大数据处理学习笔记】2.4 IDEA开发词频统计项目
weixin_63745352的博客
06-16 304
执行命令：spark-submit --master spark://master:7077 --deploy-mode cluster --class net.huawei.rdd.WordCount --driver-memory 512m --executor-memory 1g --executor-cores 2 hdfs://master:9000/park/SparkRDDWordCount.jar。hdfs://master:9000/wc/output：统计结果的输出路径。
在IDEA中用Scala编写WordCount程序并且上传到集群中运行
weixin_43866709的博客
03-16 1600
工具：IDEA，spark集群 一.安装IDEA 安装及破解过程请参考：https://blog.csdn.net/weixin_43866709/article/details/88593704 二.程序 打开IDEA，新建一个maven工程 点击next，继续 填写项目组织名和项目名，点击next继续。。。 组织名例如：com.baidu.spark 项目名例如：SparkTest 然后...
在idea中进行词频统计（scala版本）
qq_58476985的博客
10-25 1961
（这里要注意，如果添加了依赖后，还有报红的地方，要进行相关依赖的下载，如下所示：）（其中要注意的是本地复制的路径里的斜杠要替换一下，否则不能找到该文本文档）1、做某个文件的词频统计//某个单词在这个文件出现的次数。3、创建sc->读取文件的方式--->RDD。（k，v）->(k是单词，v是数量）（根据现有条件，进行具体的分析。1、单例对象，main（）函数。1、文件单词规律（空格分开）
使用IDEA进行MapReduce编程（WordCount字符统计）
qq_51903852的博客
10-27 1523
新建WordCountMapper.java import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException; public class WordCountMapper extends Mapper
IDEA 开发多项目依赖的方法(图文)
08-26
IDEA 开发多项目依赖的方法 本文主要介绍了使用 IntelliJ IDEA 创建多模块项目的方法，并详细讲解了如何使用 Maven 创建父工程、子模块，以及如何管理依赖关系。下面是相关的知识点： 1. IntelliJ IDEA 是一款功能...
idea开发工具指导.zip
02-01
IntelliJ IDEA是一款由JetBrains公司开发的著名集成开发环境（IDE），专为Java程序员设计，但同时也支持其他多种编程语言，如Python、JavaScript、Groovy等。它以其高效、智能的代码补全、强大的调试工具和优秀的...
idea 开发 slaca 项目.docx
10-27
intellij idea 开发 创建slaca 项目操作手册过程及步骤详细。
使用IDEA开发Scala程序.docx
06-05
在开发WordCount程序前，需要有一个文本文件作为输入源，包含要进行词频统计的文本。 4. 设置项目目录结构。按照Maven的标准目录结构，创建src/main/scala和src/main/resources等目录，以便存放源代码和资源文件。 ...
idea统计代码行数插件.zip
07-21
在软件开发过程中，统计代码行数是一项重要的工作，它可以帮助我们了解项目的规模、评估开发进度以及优化代码质量。IntelliJ IDEA（简称IDEA）作为广受欢迎的Java开发工具，提供了丰富的插件支持。"idea统计代码行数...
idea相关配置
shiwei77的博客
08-14 3282
idea相关配置菜单栏字体大小调整背景颜色调整输出栏背景颜色调整日志级别颜色调整文件背景颜色设置代码字体大小调整工具栏位置设置 菜单栏字体大小调整 settings—>Appearance&Behavior—>Appearance 背景颜色调整 settings—>editor—>color scheme—>general—>text—>default text 调整背景颜色 输出栏背景颜色调整 terminal颜色需要重启idea之后生效 日志级
Spark RDD统计每日新增用户
梁辰兴的博客
06-06 714
若同一个用户对应多个访问日期，则最小的日期为该用户的注册日期，即新增日期，其他日期为重复访问日期，不应统计在内。如下图所示，将每个用户访问的最小日期都移到第一列，第一列为有效数据，只统计第一列中每个日期的出现次数，即为对应日期的新增用户数。即2023-05-01新增了3个用户（分别为mike、alice、brown），2023-05-02新增了1个用户（green），2023-05-03新增了两个用户（分别为smith、brian）。已知有以下用户访问历史数据，第一列为用户访问网站的日期，第二列为用户名。
IDEA+MAVEN开发Spark 词频统计
Big Data
05-02 905
需要添加的依赖 <repositories> <repository> <id>cloudera</id> <name>cloudera</name> <url>https://repository.cloudera.c...
IDEA增加Spark依赖关系及其简单使用-词频统计
张飞的博客
08-03 2347
修改 Maven 项目中的 POM 文件，增加 Spark 框架的依赖关系，使用时请注意对应版本。 <dependencies> <!--spark依赖，注意版本号--> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <ve
查找单词出现次数（功能加强）
04-28 2594
一、要求 　　1.输出单个文件（一篇英语文章）中的前 N 个最常出现的英语单词，并将结果输入到文本文件中。 　　2.按出现次数由大到小排列，计算出出现次数的百分比，保留百分数的两位小数，即保留小数点后四位。 　　3.实现单词过滤，某些无用单词（比如：the a an）这些不记录。 　　4.实现给定地址，查找指定地址中存在的txt文件中的单词出现次数。 二、TXT文件 飘.tx...
补充.IDEA的使用
最新发布
weixin_55345689的博客
07-16 264
首先我们要了解在idea中Java工程由项目（project）、模块（module）包（package）、类（class）组成。他们之间的关系是project包含module包含package包含class。所以我们要按照先建一个project再建module再建package再建class。
Java小白入门到实战应用教程-开发环境搭建-IDEA2024安装激huo详细教程
qq_40825301的博客
07-12 384
本文详细讲解了IDEA2024如何下载和安装，以及如何激huo IDEA2024，傻瓜式教学，帮助小白轻松掌握。避免因开发环境搭建问题停止Java的学习。
idea修改全局配置、idea中用aliyun的脚手架，解决配置文件中文乱码
m0_74356429的博客
07-11 325
idea修改全局配置 idea中用aliyun的脚手架，创建springBoot项目 解决配置文件中文乱码
idea 运行异常 gradle 项目
cjh的博客
07-16 94
idea 运行异常 gradle 项目
idea实现mapreduce词频统计
09-20
实现MapReduce词频统计可以通过以下步骤来完成： 1. 首先，将数据集划分为多个小块，每个小块被称为一个分片。然后，将每个分片传给多个Mapper进行并行处理。Mapper的任务是将输入的分片按行读取，并将每个行中的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值