文章目录
一、sparkRDD进行词频统计
(1)准备工作
(2)新建Maven项目
(3)添加相关依赖
(二)创建日志属性文件
(三)创建词频统计单例对象
(6)将Spark项目编译和打包
(9)将词频统计应用上传到虚拟机
(10)在集群上执行词频统计应用
1、提交应用程序到集群中运行
(1)不带参数运行程序
(2)查看HDFS的结果文件
(3)带参数运行结果
一、sparkRDD进行词频统计
(1)准备工作
在虚拟机创建words.txt文本
上传到hdfs上(在上传前查看hadoop集群启动没有)