spark笔记二

数据

1 16
2 74
3 51
4 35
5 44
6 95
7 5
8 29
10 60
11 13
12 99
13 7
14 26

求平均值

package cn.tedu.average

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object Driver {

def main(args: Array[String]): Unit = {

val conf=new SparkConf().setMaster("local").setAppName("average")

val sc=new SparkContext(conf)

val data=sc.textFile("c://data/average.txt",2)

//--计算第二列的均值。结果打印到控制台
//--RDD[String:line]->RDD[Int:第二列数字]->sum/count
val r1=data.map { line => line.split(" ")(1).toInt }
val average=r1.sum/r1.count

println(average)

}
}


数据

1 M 174
2 F 165
3 M 172
4 M 180
5 F 160
6 F 162
7 M 172
8 M 191
9 F 175
10 F 167

代码

package cn.tedu.maxmin

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

/**

  • 返回男性(M)身高最大值数据
  • 返回 :191
    */
    object Driver {

def main(args: Array[String]): Unit = {
val conf=new SparkConf().setMaster(“local”).setAppName(“maxmin”)

val sc=new SparkContext(conf)

val data=sc.textFile("c://data/MaxMin.txt", 2)

//--RDD[String:line]->RDD[String:男性的line]->RDD[Int:男性身高].max
val r1=data.filter { line => line.split(" ")(1).equals("M") }

val r2=r1.map { line => line.split(" ")(2).toInt }.max

println(r2)

}
}


数据

1 M 174
2 F 165
3 M 172
4 M 180
5 F 160
6 F 162
7 M 172
8 M 191
9 F 175
10 F 167

代码

package cn.tedu.maxmin

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

/**

  • 处理MaxMin.txt,返回女性身高最大的前两行数据
    */
    object Driver02 {

def main(args: Array[String]): Unit = {
val conf=new SparkConf().setMaster(“local”).setAppName(“maxmin”)

val sc=new SparkContext(conf)

val data=sc.textFile("c://data/MaxMin.txt", 2)

val r1=data.filter { line => line.split(" ")(1).equals("F") }
           .sortBy{line=> -line.split(" ")(2).toInt}
           .take(2)
           
r1.foreach{println}          

}
}


数据

hello world bye world
hello hadoop bye hadoop
hello world java web
hadoop scala java hive
hadoop hive redis hbase
hello hbase java redis

代码

package cn.tedu.topk

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

/**

  • 处理topk.txt,返回单词频次出现最高的前3项单词,
  • 返回的结果形式:
  • (hello,10)
  • (hive,8)
  • (hadoop,6)
    */
    object Driver {

def main(args: Array[String]): Unit = {
val conf=new SparkConf().setMaster(“local”).setAppName(“topk”)

val sc=new SparkContext(conf)

val data=sc.textFile("c://data/topk.txt", 2)

val wordcount=data.flatMap {_.split(" ")}.map {(_,1)}.reduceByKey{_+_}

val top3=wordcount.sortBy{case(word,count)=> -count}.take(3)

top3.foreach{println}

}
}


数据

hello scala
hello spark
hello world

代码

package cn.tedu.wordcount

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object Driver {

def main(args: Array[String]): Unit = {

//--创建Spark的环境参数对象,设置运行模式和jobid
//--调试或测试一般用local
val conf=new SparkConf().setMaster("spark://hadoop01:7077").setAppName("wordcount")

//--创建Spark的上下文对象,通过此对象创建RDD以及提交job任务
val sc=new SparkContext(conf)

val data=sc.textFile("hdfs://hadoop01:9000/3.txt", 2)

val result=data.flatMap { _.split(" ") }.map { (_,1) }.reduceByKey{_+_}

result.saveAsTextFile("hdfs://hadoop01:9000/result02")

}
}

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
毕设新项目-基于Java开发的智慧养老院信息管理系统源码+数据库(含vue前端源码).zip 【备注】 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用!有问题请及时沟通交流。 2、适用人群:计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工下载使用。 3、用途:项目具有较高的学习借鉴价值,不仅适用于小白学习入门进阶。也可作为毕设项目、课程设计、大作业、初期项目立项演示等。 4、如果基础还行,或热爱钻研,亦可在此项目代码基础上进行修改添加,实现其他不同功能。 欢迎下载!欢迎交流学习!不清楚的可以私信问我! 毕设新项目-基于Java开发的智慧养老院信息管理系统源码+数据库(含vue前端源码).zip毕设新项目-基于Java开发的智慧养老院信息管理系统源码+数据库(含vue前端源码).zip毕设新项目-基于Java开发的智慧养老院信息管理系统源码+数据库(含vue前端源码).zip毕设新项目-基于Java开发的智慧养老院信息管理系统源码+数据库(含vue前端源码).zip毕设新项目-基于Java开发的智慧养老院信息管理系统源码+数据库(含vue前端源码).zip毕设新项目-基于Java开发的智慧养老院信息管理系统源码+数据库(含vue前端源码).zip毕设新项目-基于Java开发的智慧养老院信息管理系统源码+数据库(含vue前端源码).zip毕设新项目-基于Java开发的智慧养老院信息管理系统源码+数据库(含vue前端源码).zip毕设新项目-基于Java开发的智慧养老院信息管理系统源码+数据库(含vue前端源码).zip
综合小区管理系统管理系统按照操作主体分为管理员和用户。管理员的功能包括报修管理、车位管理、车位分配管理、出入管理、字典管理、房屋管理、物业费缴纳管理、公告管理、物业人员投诉管理、我的私信管理、物业人员管理、用户管理、管理员管理。用户的功能包括管理部门以及部门岗位信息,管理招聘信息,培训信息,薪资信息等。该系统采用了Mysql数据库,Java语言,Spring Boot框架等技术进行编程实现。 综合小区管理系统管理系统可以提高综合小区管理系统信息管理问题的解决效率,优化综合小区管理系统信息处理流程,保证综合小区管理系统信息数据的安全,它是一个非常可靠,非常安全的应用程序。 管理员权限操作的功能包括管理公告,管理综合小区管理系统信息,包括出入管理,报修管理,报修管理,物业费缴纳等,可以管理操作员。 出入管理界面,管理员在出入管理界面中可以对界面中显示,可以对招聘信息的招聘状态进行查看,可以添加新的招聘信息等。报修管理界面,管理员在报修管理界面中查看奖罚种类信息,奖罚描述信息,新增奖惩信息等。车位管理界面,管理员在车位管理界面中新增。公告管理界面,管理员在公告管理界面查看公告的工作状态,可以对公告的数据进行导出,可以添加新公告的信息,可以编辑公告信息,删除公告信息。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值