Spark中利用Scala进行数据清洗（代码）

最新推荐文章于 2024-04-19 23:57:19 发布

dianhe8193

最新推荐文章于 2024-04-19 23:57:19 发布

阅读量2.6k

点赞数 1

文章标签： scala 大数据运维

原文链接：http://www.cnblogs.com/Vowzhou/p/10827349.html

版权

本文介绍了如何使用Spark和Scala来清洗IIS网站请求日志，详细展示了如何统计每天每个小时段成功访问的IP数量，强调了通过灵活运用Spark算子可以减少代码量。

摘要由CSDN通过智能技术生成

2019-05-07 18:56:18
 1
　　package com.amoscloud.log.analyze
 2 
 3 import java.text.SimpleDateFormat
 4 import java.util.Date
 5 
 6 import org.apache.spark.rdd.RDD
 7 import org.apache.spark.{SparkConf, SparkContext}
 8 
 9 object LogAnalyze1 {
10   def main(args: Array[String]): Unit = {
11 
12 
13     val conf = new SparkConf().setMaster("local[2]").setAppName("LogAnalyze2")
14     val sc = new SparkContext(conf)
15 
16     val data = sc.textFile("C:\\Users\\Administrator\\Desktop\\HTTP.txt")
17     data.cache()
18     //    1.(手机号,归属地,设备品牌,设备型号,连接时长)
19     //    analyze1(data)
20     //    2.(时间段秒,访问流量)
21     analyze2(data)
22     //    3.(品牌,Array[(String,Int)]((型号1,个数1),(型号2,个数2)))
23     //    analyze(data)
24   }
25 
26   private def analyze(data: RDD[String]) = {
27     data.filter(_.split(",").length >= 72)
28       .map(x => {
29         val arr = x.split(",