题目1（15分）对spark1.txt文件进行筛选，将A或者包含A的字母筛选出来并统计个数，然后输出到dome1文件中。

最新推荐文章于 2024-03-13 05:05:14 发布

青春向洋

最新推荐文章于 2024-03-13 05:05:14 发布

阅读量491

点赞数 1

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/m0_67539177/article/details/125906803

版权

这篇博客主要介绍了如何使用Spark对spack01.txt文件进行操作，筛选出包含字母A的行并统计其数量，最终结果保存到dome1文件中。

摘要由CSDN通过智能技术生成

文件

给予1个文件【spack01.txt】进行数据分析。

spack01.txt

id	编号	内容
A	B	C
AB	A	B
C	A	B
AB	AB	AB

代码分析详细版

package com.item.action

import org.apache.spark.{SparkConf, SparkContext}

object Demo1 {
  //分析版
  def main(args: Array[String]): Unit = {
    //题目1:对spark1.txt文件进行筛选，将A或者包含A的字母筛选出来并统计个数，然后输出到dome1文件中。
    //文件路径
    var filePath = "C:\\Users\\Administrator\\Desktop/info.txt"
    //创建add项目，设置项目名称以及读取位置【local】代表本地
    var conf = new SparkConf().setAppName("timu1").setMaster("local")
    //读取配置文件
    var sc = new SparkContext(conf)
    //读取需要分析的文件
    var file = sc.textFile(filePath)
    file.foreach(line=>println(line))
    //获取第一行
    var firstRow = file.first()
      //删除首行
      //_在其中代表每一行数据
      var delFirstRow = file.filter(!_.equals(firstRow))
    delFirstRow.foreach(line=>println(line))
    //去掉