大数据架构——词频分析 | 文本搜索(Spark 版)

最新推荐文章于 2024-01-06 17:57:06 发布

匿名User

最新推荐文章于 2024-01-06 17:57:06 发布

阅读量2k

点赞数

文章标签： spark 架构 hdfs

本文链接：https://blog.csdn.net/m0_45282009/article/details/122025271

版权

词频分析

from pyspark import SparkContext


def main():
    sc = SparkContext(appName='SparkWordCount')

    input_file = sc.textFile('hdfs:///Input.txt')
    counts = input_file.flatMap(lambda line: line.split()).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)
    counts.saveAsTextFile('output3')
    sc.stop()


if __name__ == '__main__':
    main()

运行：$spark-submit --master local word_count.py
在这里插入图片描述

文本搜索

找出含有指定字符串的电影。数据集：movies
数据浏览：
在这里插入图片描述

from pyspark import SparkContext
import re
import sys


def main():
    if (len(sys.argv)) != 2:
        sys.stderr.write('Usage: {} <search_term>'.format(sys.argv[0]))
        sys.exit()
    sc = SparkContext(appName='SparkWordCount')

    requested_movie = sc.broadcast(sys.argv[1])

    source_file = sc.textFile('/movies')

    titles = source_file.map(lambda line: line.split('|')[1])

    normalized_title = titles.map(lambda title: (re.sub(r'\s*\(\d{4}\)', '', title).lower(), title))

    matches = normalized_title.filter(lambda x: requested_movie.values in x[0])

    matching_titles = matches.map(lambda x: x[1]).distinct().collect()

    print('{} Matching titles found:'.format(len(matching_titles)))
    for title in matching_titles:
        print(title)

    sc.stop()


if __name__ == '__main__':
    main()