Spark RDD案例:词频统计

本文档详细介绍了如何使用Spark RDD进行词频统计,包括新建Maven项目,添加相关依赖,创建日志属性文件,创建词频统计单例对象,编译打包Spark项目,并在虚拟机上执行词频统计应用,最终将结果上传到HDFS。
摘要由CSDN通过智能技术生成

文章目录

    一、sparkRDD进行词频统计
        (1)准备工作
        (2)新建Maven项目
        (3)添加相关依赖
        (二)创建日志属性文件
        (三)创建词频统计单例对象
        (6)将Spark项目编译和打包
        (9)将词频统计应用上传到虚拟机
        (10)在集群上执行词频统计应用
            1、提交应用程序到集群中运行
                (1)不带参数运行程序
                (2)查看HDFS的结果文件
                (3)带参数运行结果

一、sparkRDD进行词频统计
(1)准备工作

    在虚拟机创建words.txt文本

 上传到hdfs上(在上传前查看hadoop集群启动没有)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值