Spark 加强版WordCount ,统计日志中文件访问数量

最新推荐文章于 2024-02-12 02:15:38 发布
最新推荐文章于 2024-02-12 02:15:38 发布
阅读量8.3k 收藏 12
点赞数 4
分类专栏： 大数据 scala spark 文章标签： spark scala 日志分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/whzhaochao/article/details/72416956
版权
大数据 同时被 3 个专栏收录
9 篇文章 0 订阅
订阅专栏
spark
7 篇文章 0 订阅
订阅专栏
scala
6 篇文章 0 订阅
订阅专栏

原文地址：http://blog.csdn.net/whzhaochao/article/details/72416956

写在前面

学习Scala和Spark基本语法比较枯燥无味，搞搞简单的实际运用可以有效的加深你对基本知识点的记忆，前面我们完成了最基本的WordCount功能的http://blog.csdn.net/whzhaochao/article/details/72358215，这篇主要是结合实际生产情况编写一个简单的功能，功能就是通过分析CDN或者Nginx的日志文件，统计出访问的PV、UV、IP地址、访问来源等相关数据，这里只是提供一种练习思路，实际运用可能还需要复杂点

统计文件请求数

如下图所示为七牛CDN请求的日志

223.93.159.226 HIT 203 [15/Feb/2017:11:14:35 +0800] "GET http://v-cdn.abc.com.cn/141035.mp4 HTTP/1.1" 206 5444007 "http://www.abc.com.cn/" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko Core/1.53.2141.400 QQBrowser/9.5.10219.400"
223.93.159.226 HIT 62 [15/Feb/2017:11:14:36 +0800] "GET http://v-cdn.abc.com.cn/141027.mp4 HTTP/1.1" 206 4866645 "http://www.abc.com.cn/" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko Core/1.53.2141.400 QQBrowser/9.5.10219.400"
223.93.159.226 HIT 15 [15/Feb/2017:11:14:36 +0800] "GET http://v-cdn.abc.com.cn/141035.mp4 HTTP/1.1" 206 4854183 "http://www.abc.com.cn/" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko Core/1.53.2141.400 QQBrowser/9.5.10219.400"
223.93.159.226 HIT 91 [15/Feb/2017:11:14:36 +0800] "GET http://v-cdn.abc.com.cn/141032.mp4 HTTP/1.1" 206 4751957 "http://www.abc.com.cn/" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko Core/1.53.2141.400 QQBrowser/9.5.10219.400"
61.164.41.226 HIT 2537 [15/Feb/2017:11:13:54 +0800] "GET http://v-cdn.abc.com.cn/141035.mp4 HTTP/1.1" 200 5173432 "http://www.abc.com.cn/" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"
115.215.115.229 HIT 1 [15/Feb/2017:11:17:53 +0800] "GET http://v-cdn.abc.com.cn/videojs/video-js.css HTTP/1.1" 200 14382 "https://v.abc.com.cn/video/iframe/player.html?id=140976&autoPlay=1" "Mozilla/5.0 (Linux; Android 5.1; M578CA Build/LMY47D; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/53.0.2785.49 Mobile MQQBrowser/6.2 TBS/043024 Safari/537.36 MicroMessenger/6.5.4.1000 NetType/WIFI Language/zh_CN"
115.215.115.229 HIT 1 [15/Feb/2017:11:17:53 +0800] "GET http://v-cdn.abc.com.cn/videojs/video.js HTTP/1.1" 200 173397 "https://v.abc.com.cn/video/iframe/player.html?id=140976&autoPlay=1" "Mozilla/5.0 (Linux; Android 5.1; M578CA Build/LMY47D; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/53.0.2785.49 Mobile MQQBrowser/6.2 TBS/043024 Safari/537.36 MicroMessenger/6.5.4.1000 NetType/WIFI Language/zh_CN"
115.236.173.95 HIT 1 [15/Feb/2017:11:17:49 +0800] "GET http://v-cdn.abc.com.cn/videojs/video-js.css HTTP/1.1" 200 14382 "http://v.abc.com.cn/video/iframe/player.html?id=139067&auto=1" "Mozilla/5.0 (iPhone; CPU iPhone OS 9_3_2 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Mobile/13F69 QQ/6.6.9.412 V1_IPH_SQ_6.6.9_1_APP_A Pixel/1080 Core/UIWebView NetType/WIFI"
183.129.251.218 HIT 486 [15/Feb/2017:11:18:40 +0800] "GET http://v-cdn.abc.com.cn/141027.mp4 HTTP/1.1" 206 4845881 "http://www.abc.com.cn/" "Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko"
115.236.161.52 HIT 34 [15/Feb/2017:11:17:13 +0800] "GET http://v-cdn.abc.com.cn/141027.mp4 HTTP/1.1" 206 4976817 "http://www.abc.com.cn/" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko"
115.236.161.52 HIT 27 [15/Feb/2017:11:17:13 +0800] "GET http://v-cdn.abc.com.cn/141032.mp4 HTTP/1.1" 206 3859028 "http://www.abc.com.cn/" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko"
115.236.161.52 HIT 37 [15/Feb/2017:11:17:13 +0800] "GET http://v-cdn.abc.com.cn/141032.mp4 HTTP/1.1" 206 3859028 "http://www.abc.com.cn/" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko"
115.236.161.52 HIT 43 [15/Feb/2017:11:17:13 +0800] "GET http://v-cdn.abc.com.cn/141027.mp4 HTTP/1.1" 206 4517997 "http://www.abc.com.cn/" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko"
115.236.161.52 HIT 19 [15/Feb/2017:11:17:13 +0800] "GET http://v-cdn.abc.com.cn/141027.mp4 HTTP/1.1" 206 5304429 "http://www.abc.com.cn/" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko"
115.228.161.136 HIT 1 [15/Feb/2017:11:16:51 +0800] "GET http://v-cdn.abc.com.cn/videojs/video-js.css HTTP/1.1" 200 14382 "https://v.abc.com.cn/video/iframe/player.html?id=140994&autoPlay=1" "Mozilla/5.0 (iPhone; CPU iPhone OS 10_2_1 like Mac OS X) AppleWebKit/602.4.6 (KHTML, like Gecko) Mobile/14D27 MicroMessenger/6.5.4 NetType/WIFI Language/zh_CN"
202.107.208.102 HIT 1226 [15/Feb/2017:11:19:10 +0800] "GET http://v-cdn.abc.com.cn/141027.mp4 HTTP/1.1" 206 4517997 "http://www.abc.com.cn/" "Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko"
115.231.248.162 HIT 34 [15/Feb/2017:11:17:56 +0800] "GET http://v-cdn.abc.com.cn/141035.mp4 HTTP/1.1" 206 1208743 "http://www.abc.com.cn/" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET4.0C; .NET4.0E; GWX:DOWNLOADED; GWX:RESERVED)"
221.234.216.142 HIT 744 [15/Feb/2017:11:17:09 +0800] "GET http://v-cdn.abc.com.cn/140995.mp4 HTTP/1.1" 206 4194896 "https://v.abc.com.cn/video/iframe/player.html?id=140995&autoPlay=1" "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12B411 MicroMessenger/6.3.31 NetType/WIFI Language/zh_CN"
183.132.170.2 HIT 1 [15/Feb/2017:11:15:22 +0800] "GET http://v-cdn.abc.com.cn/videojs/video-js.css HTTP/1.1" 200 14382 "https://v.abc.com.cn/video/iframe/player.html?id=140976&autoPlay=1" "Mozilla/5.0 (Linux; Android 6.0; HUAWEI MT7-CL00 Build/HuaweiMT7-CL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/53.0.2785.49 Mobile MQQBrowser/6.2 TBS/043024 Safari/537.36 MicroMessenger/6.5.4.1000 NetType/WIFI Language/zh_CN"
183.132.170.2 HIT 1 [15/Feb/2017:11:15:22 +0800] "GET http://v-cdn.abc.com.cn/videojs/video.js HTTP/1.1" 200 173397 "https://v.abc.com.cn/video/iframe/player.html?id=140976&autoPlay=1" "Mozilla/5.0 (Linux; Android 6.0; HUAWEI MT7-CL00 Build/HuaweiMT7-CL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/53.0.2785.49 Mobile MQQBrowser/6.2 TBS/043024 Safari/537.36 MicroMessenger/6.5.4.1000 NetType/WIFI Language/zh_CN"
112.17.240.97 HIT 1440 [15/Feb/2017:11:20:31 +0800] "GET http://v-cdn.abc.com.cn/140941.mp4 HTTP/1.1" 206 6284261 "https://v.abc.com.cn/video/iframe/player.html?id=140941&autoPlay=1" "Mozilla/5.0 (iPhone; CPU iPhone OS 8_2 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12D508 (zjxw;3.5.1;iPhone6,2;8.2;zh;bianfeng;b541b2039c2c00c66c14c7fb7e26df19fccd9cf4)"
125.118.106.43 HIT 32 [15/Feb/2017:11:20:57 +0800] "GET http://v-cdn.abc.com.cn/141027.mp4 HTTP/1.1" 206 1637949 "http://www.abc.com.cn/" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko"
125.118.106.43 HIT 31 [15/Feb/2017:11:20:57 +0800] "GET http://v-cdn.abc.com.cn/141027.mp4 HTTP/1.1" 206 5042489 "http://www.abc.com.cn/" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko"
125.118.106.43 HIT 32 [15/Feb/2017:11:20:57 +0800] "GET http://v-cdn.abc.com.cn/141027.mp4 HTTP/1.1" 206 4517997 "http://www.abc.com.cn/" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko"
125.118.106.43 HIT 40 [15/Feb/2017:11:20:57 +0800] "GET http://v-cdn.abc.com.cn/141027.mp4 HTTP/1.1" 206 4911485 "http://www.abc.com.cn/" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko"
125.118.106.43 HIT 30 [15/Feb/2017:11:20:57 +0800] "GET http://v-cdn.abc.com.cn/141027.mp4 HTTP/1.1" 206 4583601 "http://www.abc.com.cn/" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko"
60.190.59.200 HIT 1741 [15/Feb/2017:11:20:05 +0800] "GET http://v-cdn.abc.com.cn/141027.mp4 HTTP/1.1" 206 5173425 "http://www.abc.com.cn/" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"

日志的格式为

IP 命中率 响应时间 请求时间 请求方法 请求URL    请求协议 状态吗 响应大小 referer 用户代理
ClientIP Hit/Miss ResponseTime [Time Zone] Method URL Protocol StatusCode TrafficSize Referer UserAgent

计算独立IP数

计算思路

计算独立IP数主要是两步
1. 从每行日志中筛选出IP地址
2. 去除重复的IP得到独立IP数

统计独立IP代码
   //匹配IP地址正则
  val  IPPattern="((?:(?:25[0-5]|2[0-4]\\d|((1\\d{2})|([1-9]?\\d)))\\.){3}(?:25[0-5]|2[0-4]\\d|((1\\d{2})|([1-9]?\\d))))".r

    //1.统计独立IP数
    val ipNums=input.flatMap(x=>IPPattern findFirstIn(x)).map(x=>(x,1)).reduceByKey((x,y)=>x+y).sortBy(_._2,false)
    //输出IP访问数前量前10位
    ipNums.take(10).foreach(println)
    println("独立IP数："+ipNums.count())
计算过程
  • flatMap(x=>IPPattern findFirstIn(x)) 通过正则取出每行日志中的IP地址
  • map(x=>(x,1)) 将每行中的IP映射成 (IP,1)，形成一个Pair RDD
  • reduceByKey((x,y)=>x+y) 将相同的IP合并，得到 (IP，数量)
  • sortBy(_._2,false) 按IP大小排序
统计结果
(114.55.227.102,9348)
(220.191.255.197,2640)
(115.236.173.94,2476)
(183.129.221.102,2187)
(112.53.73.66,1794)
(115.236.173.95,1650)
(220.191.254.129,1278)
(218.88.25.200,751)
(183.129.221.104,569)
(115.236.173.93,529)
独立IP数：43649

统计每个视频独立IP数

有时我们不但需要知道全网访问的独立IP数，更想知道每个视频访问的独立IP数

计算思路

计算过程主要分为三步
1. 筛选视频文件将每行日志拆分成 (文件名，IP地址)形式
2. 按文件名分组，相当于数据库的Group by 这时RDD的结构为(文件名,[IP1,IP1,IP2,…])，这时IP有重复
3. 将每个文件名中的IP地址去重，这时RDD的结果为(文件名,[IP1,IP2,…])，这时IP没有重复

计算代码

  //匹配文件名
  val  fileNamePattern="([0-9]+).mp4".r
  def getFileNameAndIp(line:String)={
    (fileNamePattern.findFirstIn(line).mkString,IPPattern.findFirstIn(line).mkString)
  }
  //2.统计每个视频独立IP数
    input.filter(x=>x.matches(".*([0-9]+)\\.mp4.*")).map(x=>getFileNameAndIp(x)).groupByKey().map(x=>(x._1,x._2.toList.distinct)).
      sortBy(_._2.size,false).take(10).foreach(x=>println("视频："+x._1+" 独立IP数:"+x._2.size))
计算过程
  • filter(x=>x.matches(“.([0-9]+)\.mp4.“)) 筛选日志中的视频请求
  • map(x=>getFileNameAndIp(x)) 将每行日志格式化成 (文件名，IP)这种格式
  • groupByKey() 按文件名分组，这时RDD 结构为 (文件名，[IP1,IP1,IP2….])，IP有重复
  • map(x=>(x._1,x._2.toList.distinct)) 去除value中重复的IP地址
  • sortBy(_._2.size,false) 按IP数排序
计算结果
视频：141081.mp4 独立IP数:2393
视频：140995.mp4 独立IP数:2050
视频：141027.mp4 独立IP数:1784
视频：141090.mp4 独立IP数:1702
视频：141032.mp4 独立IP数:1528
视频：89973.mp4 独立IP数:1523
视频：141080.mp4 独立IP数:1425
视频：141035.mp4 独立IP数:1321
视频：141082.mp4 独立IP数:1272
视频：140938.mp4 独立IP数:816

统计一天中每个小时间的流量

有时我想知道网站每小时视频的观看流量，看看用户都喜欢在什么时间段过来看视频

计算思路
  1. 将日志中的访问时间及请求大小两个数据提取出来形成 RDD (访问时间,访问大小)，这里要去除404之类的非法请求
  2. 按访问时间分组形成 RDD （访问时间，[大小1，大小2，….]）
  3. 将访问时间对应的大小相加形成 (访问时间，总大小)
计算代码
  //[15/Feb/2017:11:17:13 +0800]  匹配 2017:11 按每小时播放量统计
  val  timePattern=".*(2017):([0-9]{2}):[0-9]{2}:[0-9]{2}.*".r
  //匹配 http 响应码和请求数据大小
  val httpSizePattern=".*\\s(200|206|304)\\s([0-9]+)\\s.*".r

  def  isMatch(pattern:Regex,str:String)={
    str match {
      case pattern(_*) => true
      case _ => false
    }
  }

//3.统计一天中每个小时间的流量
    input.filter(x=>isMatch(httpSizePattern,x)).filter(x=>isMatch(timePattern,x)).map(x=>getTimeAndSize(x)).groupByKey()
      .map(x=>(x._1,x._2.sum)).sortByKey().foreach(x=>println(x._1+"时 CDN流量="+x._2/(1024*1024*1024)+"G"))
计算过程
  • filter(x=>isMatch(httpSizePattern,x)).filter(x=>isMatch(timePattern,x)) 过滤非法请求
  • map(x=>getTimeAndSize(x)) 将日志格式化成 RDD(请求小时,请求大小)
  • groupByKey() 按请求时间分组形成 RDD(请求小时，[大小1，大小2，….])
  • map(x=>(x._1,x._2.sum)) 将每小时的请求大小相加，形成 RDD(请求小时,总大小)
计算结果
00时 CDN流量=14G
01时 CDN流量=3G
02时 CDN流量=5G
03时 CDN流量=3G
04时 CDN流量=3G
05时 CDN流量=4G
06时 CDN流量=11G
07时 CDN流量=22G
08时 CDN流量=43G
09时 CDN流量=52G
10时 CDN流量=61G
11时 CDN流量=45G
12时 CDN流量=46G
13时 CDN流量=51G
14时 CDN流量=55G
15时 CDN流量=45G
16时 CDN流量=45G
17时 CDN流量=44G
18时 CDN流量=45G
19时 CDN流量=51G
20时 CDN流量=55G
21时 CDN流量=53G
22时 CDN流量=42G
23时 CDN流量=25G

学习数据及源代码

http://git.oschina.net/whzhaochao/spark-learning

赵侠客
关注
  • 4
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Spark学习---统计文件单词出现次数
05-12
上一节我们简单介绍了RDD中转化和执行操作的用法，本节将通过一个具体的示例来加深对RDD的认识。 一.需求 统计本地文件中单词出现次数 二.操作流程 1.读取外部文件创建JavaRDD; 2.通过flatMap转化操作切分字符串，获取单词新JavaRDD; 3.通过mapToPair，以key为单词，value统一为1的键值JavaPairRDD; 4.通过reduceByKey，累计叠加每个key，统计单词出现次数； 三.代码实现 四.下载代码
WordCount_Spark!_spark_wordcount_java_
10-01
在spark上运行wordcount程序，可以进行单词计数
PySpark安装及WordCount实现（基于Ubuntu）
最新发布
蓝易云
02-12 894
现在，你已经成功安装了PySpark并实现了WordCount示例。你可以根据实际需求修改脚本以处理不同的文本数据。这将使用Spark运行WordCount任务，并将结果保存在指定的输出目录中。PySpark需要Java运行环境。下载并解压Apache Spark。替换为你要分析的文本文件的路径，将。创建一个Python脚本，例如。记得使用实际的Spark路径。下载最新版本的Spark。替换为你下载的实际版本。替换为输出结果的目录。
spark下实现wordcount
11-14
亲自测试的
Spark 最简单WordCount
05-15
博客配套文件，详细演示了本地和集群模式如何运行Spark程序，演示了一个简单wordCount程序流程。
java统计日志qps_【原创】基于日志增量，统计qps，并基于ip排序
weixin_42342226的博客
02-27 240
增量统计日志行数(只统计上一秒)dns_qps.py#!/usr/bin/env python#_*_coding:utf-8_*_import datetimeimport reimport oslog_files = './dns_logs' #填写要分析的源日志seek_files = './seek_log.tmp' #生成的临时文件，只用于保存位置seek信息，建议放/tmp/下la...
spark应用----统计分析电商网站的用户行为数据
m0_55685698的博客
06-27 716
本项目的数据是采集电商网站的用户行为数据，主要包含用户的4种行为：搜索、点击、下单和支付。需求说明：品类是指产品的分类，大型电商网站品类分多级，咱们的项目中品类只有一级，不同的公司可能对热门的定义不一样。我们按照每个品类的点击、下单、支付的量来统计热门品类。编号字段名称字段类型字段含义1dateString用户点击行为的日期2user_idLong用户的ID3session_idStringSession的ID4page_idLong某个页面的ID5String。
【大数据学习篇6】 Spark操作统计分析数据操作
m0_56073435的博客
05-12 2944
8| 53.0| 53.0| 浙江省|2020-02-20 23:56:12|2020-02-20 23:56:16| 0.0|| 11|267.9| 0.0| 北京|2020-02-20 23:54:24|2020-02-20 23:54:31| 267.9|| 12| 37.0| 37.0| 四川省|2020-02-20 23:54:24|2020-02-20 23:54:31| 0.0|
spark03-读取文件数据分区数量个数原理
oracle8090的博客
02-13 818
spark 读取文件 产生分区原理
Spark数据统计指标计算
SunnyRivers
05-15 5757
前言 在机器学习训练模型时，如果遇到空值，一般有三种处理方法，分别是删除法、替换法和插补法。删除法是指当缺失的观测比例非常低时（如5%以内），直接删除存在缺失的观测，或者当某些变量的缺失比例非常高时（如85%以上），直接删除这些缺失的变量；替换法是指用某种常数直接替换那些缺失值，例如，对连续变量而言，可以使用均值或中位数替换，对于离散变量，可以使用众数替换；插补法是指根据其他非缺失的变量或观测来预...
IDEA使用Spark 进行对所有数据进行统计
qq_69314824的博客
07-21 898
IDEA使用Spark 进行对所有数据进行统计
Spark Scala简单 统计单词个数
07-16
该资源可以简单计算文本中单词个数
spark框架中wordcount的scala实现
05-18
scala语言和python一样都是交互式的语言，操作简单。这是wordcount的scala实现，简单明了，比java实现简单很多，希望对大家有所帮助
Spark Streaming实现WordCount
01-07
利用Spark Streaming实现WordCount 需求：监听某个端口上的网络数据，实时统计出现的不同单词个数。 1，需要安装一个nc工具：sudo yum install -y nc 2，执行指令：nc -lk 9999 -v import os #### 配置spark driver...
【Spark实训】--竞赛网站访问日志分析
一只大数据专业的傻猪猪
04-17 5898
竞赛网站访问日志分析；1、过滤出访问次数在 50 次以上的用户记录 2、统计访问 50 次以上的用户主要访问的前 5 类网页 3. 合并部分网页 4.根据访问时间加入对应时段
Spark spark分析数据的过程，案例网站日志统计用户访问时间
一只菜鸡
08-01 1728
第一步、数据的读取（输入）   将要处理的数据读取封装到一个集合RDD中（类别Scala中List列表）   val inputRDD = sc.textFile(‘…”) 第二步、数据处理(分析)   调用集合RDD中函数(高阶函数)进行处理分析   RDD –>函数 ->另外一个RDD ：transformation函数   val outpuRDD = inputRDD.#(#:...
Sql面试题-按月份统计用户访问
qq_38316704的博客
12-12 982
表结构： CREATE TABLE `action` ( userId varchar(25) DEFAULT NULL comment '用户id', visitDate varchar(25) DEFAULT NULL comment '浏览日期', visitCount int(11) DEFAULT NULL comment '浏览次数' ) ENGINE = InnoDB AUTO_INCREMENT = 8 DEFAULT CHARSET =
Spark之正则表达式与处理日期与时间类型
柳小葱的博客
05-27 3208
????今天继续给大家介绍pyspark的内容之匹配字符和处理时间类型的数据，我们在前面还给大家介绍了spark处理其他类型数据的方法，有兴趣的小伙伴可以查看下面文章????： 链接: Spark之处理布尔、数值和字符串类型的数据. 链接: Spark之Dataframe基本操作. ????今天主要来学习spark在字符串中搜索子串，替换被选中的字符等，以及处理时间类型数据的方法，尤其是对时间序列的处理在后面机器学习的部分有很大的帮助。 目录1.正则表达式1.1 regexp_replace 替换值1.
spark统计文件行数
热门推荐
风筝中有风
01-04 1万+
虽然接触大数据2年了，以前对spark使用都是和solr建索引任务，由于目前的工作很少涉及spark了，为了不遗忘，从头开始复习一下spark，不同的是这次记录下来，一来方便自己查阅，二来对于刚入门的同行也算个案例。PS.高手勿喷 1、spark读取文件，统计行数 Intellj idea 开发工具环境就不在介绍了，网上很多教程，唯一需要注意的是你的spark或者scala版本与本地一致即可。
使用PyCharm编程实现SparkCore的WordCount单词统计基础，并保存在HDFS或本地文件中
06-10
可以参考以下代码实现： ```python from pyspark import SparkContext, SparkConf # 创建SparkContext conf = SparkConf().setAppName("WordCount") sc = SparkContext(conf=conf) # 读取文本文件 text_file = sc.textFile("hdfs://path/to/file") # 执行单词统计 word_counts = text_file.flatMap(lambda line: line.split()).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b) # 保存结果到HDFS或本地文件系统 word_counts.saveAsTextFile("hdfs://path/to/output") # 保存到HDFS word_counts.saveAsTextFile("file:///path/to/output") # 保存到本地文件系统 # 关闭SparkContext sc.stop() ``` 其中，`hdfs://path/to/file` 是要统计的文件在HDFS中的路径，`hdfs://path/to/output` 是统计结果保存在HDFS中的路径，`file:///path/to/output` 是统计结果保存在本地文件系统中的路径。 需要注意的是，执行该代码需要在安装了PyCharm和Spark的环境中进行。同时，需要将Spark的Python库路径添加到PyCharm的Python解释器中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值