简单的Nginx日志统计
代码 | 详解 |
##载入依赖包 from pyspark import SparkContext | |
##生成并初始化一个Spark任务 sc = SparkContext("local", "Simple App") | SparkContext($1, $2) $1:指定工作方式。 可选项: local:默认值,使用一个 Worker 线程本地化运行(完全不并行) local[N]:使用 N 个 Worker 线程本地化运行,N 为 * 时,表示使用系统中所有核 local[N,M]:N代表的是用到的核个数;M代表的是容许该作业失败M次 $2:指定任务名称。 其他初始方法: from pyspark import SparkContext, SparkConf conf = SparkConf().setAppName(APP_NAME) conf = conf.setMaster("local[*]") sc = SparkContext(conf=conf) |
##载入一个外部文件 logFile = "access.log" rdd = sc.textFile(logFile).cache() | cache:RDD持久化操作。 |
##进行统计 counts = rdd.map(lambda line: line.split()[8]).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b).sortByKey(True) | lambda:python定义匿名函数的标识符(详情见:python匿名函数.note) map:spark转换之一,逐条将RDD中的元素(对于文本文件默认一行就是一个元素)使用传入的func进行处理。类比shell中的cat xxx | awk ‘{func}’ reduceByKey:spark转换之一,依据key聚合。key即是第二个map返回的元组的第一个值。参数a是当前聚合结果,参数b是下一项的value,即第二个map返回的元组的第二个值。 sortByKey:spark转换之一,依据key排序,传入的True表示由小到大 |
##输出结果 output = counts.collect() for (word, count) in output: print "%s: %i" % (word, count) | collect:以数组的形式,返回数据集的所有元素。 |
##将结果保存到文件 counts.saveAsTextFile("/data/result") | saveAsTextFile:将数据集的元素,以 textfile 的形式,保存到文件系统中 |
##停止Spark任务,释放资源 sc.stop() |