spark有自己的集群计算技术,扩展了hadoop mr模型用于高效计算,包括交互式查询和
流计算。主要的特性就是内存的集群计算提升计算速度。在实际运用过程中也当然少不了对一些数据集的操作。下面将通过以下练习来深化对spark的理解,所有练习将使用python完成,java、scala版本将后续完成。
操作一、使用RDDS操作数据集(这个练习将会在spark的交互式终端下完成,通过一个简单的文本文件,然后使用spark探索和变换Apache Web服务器的输出日志,所使用的数据集来至Loudacre公司)。
1、 创建rdd,然后查看数据集行数。
file=file:///home/training/training_materials/data/weblogs/* myrdd=sc.textFile(file) myrdd.count() //对文本文档的行数进行统计
#输出结果:1079931 myrdd.take(4)#取出数据集中的前4行
# 输出结果: ['213.158.179.231 - 24704 [03/Mar/2014:00:00:00 +0100] "GET /meetoo_1.0_sales.html HTTP/1.0" 200 1567 "http://www.loudacre.com" "Loudacre Mobile Browser MeeToo 2.0"', '213.158.179.231 - 24704 [03/Mar/2014:00:00:00 +0100] "GET /theme.css HTTP/1.0" 200 15447 "http://www.loudacre.com" "Loudacre Mobile Browser MeeToo 2.0"', '213.158.179.231 - 24704 [03/Mar/2014:00:00:00 +0100] "GET /code.js HTTP/1.0" 200 519 "http://www.loudacre.com" "Loudacre Mobile Browser MeeToo 2.0"', '213.158.179.231 - 24704 [03/Mar/2014:00:00:00 +0100] "GET /meetoo_1.0.jpg HTTP/1.0" 200 18640 "http://www.loudacre.com" "Loudacre Mobile Browser MeeToo 2.0"']
1、 创建一个新的RDD,只包含数据集含有JPG文件的
myrdd.filter(lambda x:".jpg" in x).take(10)
输出结果:
['213.158.179.231 - 24704 [03/Mar/2014:00:00:00 +0100] "GET /meetoo_1.0.jpg HTTP/1.0" 200 18640 "http://www.loudacre.com" "Loudacre Mobile Browser MeeToo 2.0"',
'14.7.25.113 - 106082 [02/Mar/2014:23:59:23 +0100] "GET /titanic_deckchairs.jpg HTTP/1.0" 200 7701 "http://www.loudacre.com" "Loudacre Mobile Browser Titanic 2500"',
'100.226.80.124 - 56952 [02/Mar/2014:23:55:57 +0100] "GET /meetoo_3.0.jpg HTTP/1.0" 200 7009 "http://www.loudacre.com" "Loudacre Mobile Browser MeeToo 3.1"']
2、有时我们并不需要对数据集的操作所产生的数据存储在一个变量中,在这种情况下,我们可以简化代码,比如,你想对数据集中包含jpg的行数进行统计。
sc.textFile(file).filter(lambda x:".jpg" in x).count()
输出结果:
64978
3、对日志文件中的每一行进行一个长度的计算,取前10行。
myrdd.map(lambda s:len(s)).take(10)
输出结果:
[163, 152, 148, 157, 171, 151, 148, 163, 159, 152]
4、使用map,将RDD中的每一行数据按空格拆分,形成一个新的map映射。
myrdd.map(lambda s:s.split()).take(2)
查看输出结果:
输出结果:
[['213.158.179.231',
'-',
'24704',
'[03/Mar/2014:00:00:00',
'+0100]',
'"GET',
'/meetoo_1.0_sales.html',
'HTTP/1.0"',
'200',
'1567',
'"http://www.loudacre.com"',
'"Loudacre',
'Mobile',
'Browser',
'MeeToo',
'2.0"'],
['213.158.179.231',
'-',
'24704',
'[03/Mar/2014:00:00:00',
'+0100]',
'"GET',
'/theme.css',
'HTTP/1.0"',
'200',
'15447',
'"http://www.loudacre.com"',
'"Loudacre',
'Mobile',
'Browser',
'MeeToo',
'2.0"']]
从上面的输出结果中可以看出,我们将日志文件按空格拆了之后,IP地址,usrid,访问时间,地址信息,组成了一个新的列表。现在取出前10条记录的IP地址字段。
myrdd.map(lambda s:s.split()[0]).take(10)
查看部分输出结果:
['213.158.179.231',
'213.158.179.231',
'213.158.179.231',
'213.158.179.231',
'14.7.25.113',
'14.7.25.113',
'14.7.25.113',
'14.7.25.113',
'182.66.255.22',
'182.66.255.22']
尽管take和collect操作方式可以帮助我们查看RDD中的内容,但是有时候其输出的可读性较差,所以我们可以通过迭代方式查看。注:(由于数据集已超过百万级,请小伙伴们在单台计算机下执行以下命令时,谨慎!!!!)
for ip in myrdd.map(lambda s:s.split()[0]).collect(): print(ip)
部分输出结果:
213.158.179.231
213.158.179.231
213.158.179.231
213.158.179.231
14.7.25.113
14.7.25.113
14.7.25.113
14.7.25.113
182.66.255.22
182.66.255.22
30.94.103.67
30.94.103.67
160.91.247.104
160.91.247.104
操作二、使用Pair RDDS 去Join两个数据集。
在先前使用的weblogs数据集中包含了每一天所产生的日志,所以在下面的练习中我们选择部分进行分析。
1、 对选取的数据集中的userid进行统计分析,统计userid出现的次数
file="file:///home/training/training_materials/data/weblogs/*6.log" myrdd=sc.textFile(file) myrdd.map(lambda l:(l.split()[2],1)).reduceByKey(lambda x,y:x+y).take(10)
查看输出结果:
输出结果:
[('35521', 6),
('19472', 8),
('63625', 4),
('63177', 2),
('24789', 4),
('66481', 4),
('96168', 2),
('61988', 2),
('67067', 2),
('109319', 6)]
如果有时候我们想打输出结果变成value-key呢?
myrdd.map(lambda l:(l.split()[2],1)).reduceByKey(lambda x,y:x+y).map(lambda x:(x[1],x[0])).take(10)
输出结果: [(6, '35521'), (8, '19472'), (4, '63625'), (2, '63177'), (4, '24789'), (4, '66481'), (2, '96168'), (2, '61988'), (2, '67067'), (6, '109319')]
1、 创建一个RDD,提取日志中的ip和usreid字段,对相同id的不同ips进行汇总统计
myrdd.map(lambda l:(l.split()[2],l.split()[0])).distinct().groupByKey().take(10)
执行结果如下:
[('35521', <pyspark.resultiterable.ResultIterable at 0x7f2770057160>),
('19472', <pyspark.resultiterable.ResultIterable at 0x7f2770057320>),
('63177', <pyspark.resultiterable.ResultIterable at 0x7f2770057828>),
此时发现urseid是可以读取的,但是对于用户访问过的ip需要迭代才能查看
for (usreid,ips) in data.collect(): msg='person has the same post number {0}'.center(100,'=').format(usreid) print(msg) print(usreid) for ip in ips: print("\t"+ip)
执行结果:
================================person has the same post number 35521=================================
35521
160.16.102.247
214.79.71.112
210.241.247.198
================================person has the same post number 19472=================================
19472
43.233.80.155
204.176.198.31
1.73.115.79
154.203.235.227
代码还是太长了,短点儿吧!!!
for(usreid,ips) in myrdd.map(lambda l:(l.split()[2],l.split()[0])).distinct().groupByKey().collect(): msg='person has the same post number {0}'.center(100,'=').format(usreid) print(msg) print(usreid) for ip in ips: print("\t"+ip)
执行结果一样
3、 对第二个数据集进行操作,取出usreid,姓和名
myrdd2=sc.textFile("file:///home/training/training_materials/data/static_data/accounts") myrdd2.take(10)
部分运行结果:
['32441,2012-07-06 12:35:29.0,\\N,Peter,Zachary,1891 Jessie Street,Long Beach,CA,90743,5628719002,2014-03-18 13:30:46.0,2014-03-18 13:30:46.0',
'32442,2012-08-18 00:08:07.0,\\N,Duane,Ruiz,1023 Simpson Street,Pasadena,CA,91051,6262472463,2014-03-18 13:30:46.0,2014-03-18 13:30:46.0',
'32443,2012-09-09 04:15:32.0,\\N,Desiree,Beall,4830 Davis Place,Reno,NV,89468,7758006922,2014-03-18 13:30:46.0,2014-03-18 13:30:46.0',
取出我们需要的字段
data=myrdd2.map(lambda x:x.split(',')).map(lambda y:(y[0],y[3],y[4])).take(10)
结果:
[('32441', 'Peter', 'Zachary'),
('32442', 'Duane', 'Ruiz'),
('32443', 'Desiree', 'Beall'),
('32444', 'Molly', 'Pinder'),
('32445', 'Melissa', 'Carlson'),
('32446', 'Oliver', 'Olson'),
('32447', 'Ben', 'McFarlane'),
('32448', 'Barbara', 'McClure'),
('32449', 'Christina', 'Smith'),
('32450', 'Jake', 'Weber')]
对两个数据集进行join操作
ydata=(myrdd.map(lambda l:(l.split()[2],1)).reduceByKey(lambda x,y:x+y)).join(data2) mydata.take(10)
for (usreid,(ts,names)) in mydata.collect(): print(usreid ,ts,names)
运行部分结果:
19108 6 Penny
94430 2 Tamala
118 134 Charles
89848 2 Patricia
25804 4 Crystal
85055 8 Fred
22867 2 Walter
1129 2 Ryan
96543 6 Alfred
41135 2 Joanne
88561 2 Daniel
4、 对第二个数据集进行操作,取出分别取出第8,第3,4字段进行分级排序超作
abc=myrdd2.map(lambda l:(l.split(',')[8],(l.split(',')[3],l.split(',')[4]))).groupByKey().distinct() abc.take(10)
运行部分结果:
[('94515', <pyspark.resultiterable.ResultIterable at 0x7f3d03231a90>),
('94286', <pyspark.resultiterable.ResultIterable at 0x7f3d03231588>),
('89727', <pyspark.resultiterable.ResultIterable at 0x7f3d03231b00>),
('85605', <pyspark.resultiterable.ResultIterable at 0x7f3d032316a0>),
('85112', <pyspark.resultiterable.ResultIterable at 0x7f3d03352c18>),
('94416', <pyspark.resultiterable.ResultIterable at 0x7f3d033affd0>),
('90831', <pyspark.resultiterable.ResultIterable at 0x7f3d033af630>),
('85334', <pyspark.resultiterable.ResultIterable at 0x7f3d03352da0>),
('96029', <pyspark.resultiterable.ResultIterable at 0x7f3d0339d278>),
('94915', <pyspark.resultiterable.ResultIterable at 0x7f3d03543128>)]
进行遍历:
for (k,vs) in abc.take(100): msg='person has the same post number {0}'.center(100,'=').format(k) print(msg) print('-----'+k) for v in vs: print('\t'+v[0],v[1])
运行部分结果:
操作三,对特殊文档的操作需要得到如下结果
sc.textFile("file:///home/training/training_materials/data/devicestatus.txt").take(100)
执行结果:
我们发现在此数据集中,单行数据的分割符是相同的,所以我们在对数据进行处理时可以按照其规律,进行编码。
devstatus=sc.textFile("file:///home/training/training_materials/data/devicestatus.txt") cleanstatus = devstatus.map(lambda line: line.split(line[19:20])).filter(lambda values: len(values) == 14) cleanstatus.take(3)
部分运行结果:
[['2014-03-15:10:10:20',
'Sorrento F41L',
'8cc3b47e-bd01-4482-b500-28f2342679af',
'7',
'24',
'39',
'enabled',
'disabled',
'connected',
'55',
'67',
'12',
'33.6894754264',
'-117.543308253'],
取出我们需要的字段
devicedata = cleanstatus.map(lambda values: (values[0], values[1].split(' ')[0], values[2], values[12], values[13])) evicedata.take(3)
部分运行结果:
[('2014-03-15:10:10:20',
'Sorrento',
'8cc3b47e-bd01-4482-b500-28f2342679af',
'33.6894754264',
'-117.543308253'),
('2014-03-15:10:10:20',
'MeeToo',
'ef8c7564-0a1a-4650-a655-c8bbd5f8f943',
'37.4321088904',
'-121.485029632'),
('2014-03-15:10:10:20',
'MeeToo',
'23eba027-b95a-4729-9a4b-a3cca51c5548',
'39.4378908349',
'-120.938978486')]
把新生成的数据转存到其他位置
devicedata.map(lambda values: ','.join(values)).saveAsTextFile("/loudacre/devicestatus_etl")
操作四,对xml格式log文档的操作,实验要求取出<account-number>和<model>标签中的值。结果如图所示:
1、通过linux终端查看activations数据集。
查看某天的xml数据
import xml.etree.ElementTree as ElementTree def getActivation(s): fileTree=ElementTree.fromstring(s) return fileTree.getiterator('activation') def getAccount_number(b): data=b.find('account-number').text return data def getModel(c): return c.find('model').text file=file:///home/training/training_materials/data/activations/*.xml myrdd=sc.wholeTextFiles(file) data=myrdd.flatMap(lambda l:getActivation(l[1])).map(lambda s:getAccount_number(s)+":"+getModel(s)) data.take(100)
部分输出结果:
将提取的数据存放成新的文件
data.saveAsTextFile('file:///home/training/training_materials/data/activations/test')
操作五:利用正则表达式提取access.log文件中的ip地址、时间戳、请求头、cookie值
原文件部分数据如下:
from pyspark.sql import SparkSession from pyspark.sql.functions import split,regexp_extract spark=SparkSession.builder.appName("First Spark DataFrame").getOrCreate() file="file:///home/training/training_materials/data/access.log" df=spark.read.text(file) df.select(regexp_extract('value',r'^([\d.]+)',1).alias('ipaddr'),regexp_extract('value',r'\[(.*?)\]',1).alias('timestamp'), regexp_extract('value',r'\"(.*?)\"',1).alias('http'),regexp_extract('value',r'.*\d+ \"(.*?)\"',1).alias('reff'), regexp_extract('value',r'.*\"SESSIONID=(\d+)\"',1).cast('bigint').alias('cookie')).show()
运行结果:
操作五,用spark 程序实现一个校验空行个数的程序
方法一:
sc.textFile(“file:///home/training/training_materials/data/2014-03-15.log”) map(lambda x:(len(x)==0,1)).reduceByKey(lambda x,y:x+y).take(2)
代码解析:1、创建rdd;2、对rdd的每一个recode进行检索,通过pythen中len()方法,去判断每一行是不是为空,如果为空返回True,不为空返回False;3、利用reduceByKey()进行统计。4、因为结果集中只有两种情况,所以我们取出2条就好了。
执行结果
[(False, 7097), (True, 9)]
Linux终端下执行结果
方法二:
用spark累加器实现
sum =sc.accumulator(0) def blankline(x): global sum if len(x)==0: sum+=1 return sum sc.textFile("file:///home/training/training_materials/data/2014-03-15.log").foreach(blankline) print(sum)
执行结果:
9
在linux终端下用spark-submit提交,并对JVM进行调优
文件blankline.py中的代码
from pyspark import SparkContext sc=SparkContext() file="file:///home/training/training_materials/data/2014-03-15.log" myrdd=sc.textFile(file) xx=myrdd.map(lambda x:(len(x)==0,1)).reduceByKey(lambda x,y:x+y).collect() print(xx)
在linux终端下执行
spark-submit --conf spark.eventlog.enabled=false --conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" blankline.py
执行结果:
17/03/28 01:52:11 INFO scheduler.DAGScheduler: Job 0 finished: collect at /home/training/blankline.py:7, took 1.534097 s
[(False, 7097), (True, 9)]
17/03/28 01:52:12 INFO spark.SparkContext: Invoking stop() from shutdown hook
17/03/28 01:52:12 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/metrics/json,null}
写博客没有多久,请多多指教,其余的操作将后续更新!thanks!!!!!!!!!!