题目1(15分)对spark1.txt文件进行筛选,将A或者包含A的字母筛选出来并统计个数,然后输出到dome1文件中。

文件

给予1个文件【spack01.txt】进行数据分析。

spack01.txt

id	编号	内容
A	B	C
AB	A	B
C	A	B
AB	AB	AB

 代码分析详细版

package com.item.action

import org.apache.spark.{SparkConf, SparkContext}

object Demo1 {
  //分析版
  def main(args: Array[String]): Unit = {
    //题目1:对spark1.txt文件进行筛选,将A或者包含A的字母筛选出来并统计个数,然后输出到dome1文件中。
    //文件路径
    var filePath = "C:\\Users\\Administrator\\Desktop/info.txt"
    //创建add项目,设置项目名称以及读取位置【local】代表本地
    var conf = new SparkConf().setAppName("timu1").setMaster("local")
    //读取配置文件
    var sc = new SparkContext(conf)
    //读取需要分析的文件
    var file = sc.textFile(filePath)
    file.foreach(line=>println(line))
    //获取第一行
    var firstRow = file.first()
      //删除首行
      //_在其中代表每一行数据
      var delFirstRow = file.filter(!_.equals(firstRow))
    delFirstRow.foreach(line=>println(line))
    //去掉
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值