Spark模拟实现统计出每个域名下面访问次数最多的前三个URL

最新推荐文章于 2023-06-27 15:26:29 发布
最新推荐文章于 2023-06-27 15:26:29 发布
阅读量965 收藏 4
点赞数
分类专栏： Spark DataFrame sparksql 文章标签： sparksql rdd dataframe
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/helloxiaozhe/article/details/103806687
版权
Spark 同时被 3 个专栏收录
44 篇文章 6 订阅
订阅专栏
sparksql
15 篇文章 1 订阅
订阅专栏
DataFrame
10 篇文章 0 订阅
订阅专栏

Spark模拟实现统计出每个域名下面访问次数最多的前三个URL

一、需求：

现在假设有一个IT教育网站，有Java，PHP，net等多个栏目，下面是模拟实现的网站日志

第一个字段是访问日期，第二个字段是访问的URL，其中每个栏目有一个独立域名，如下：

java.aaaaaaa.cn
net.aaaaaaa.cn
php.aaaaaaa.cn

统计出每个域名下面访问次数最多的前三个URL

二、纯rdd方法：

1、最简可用代码：

from urlparse import urlparse
top_k=3
sc.textFile('/home/hdit/workdir/yhe/test/data.txt')\
    .filter(lambda line :len(line.split('  ')) == 2)\
    .map(lambda line:((urlparse(line.split('  ')[1]).netloc, line.split('  ')[1]), 1))\
    .reduceByKey(lambda v1, v2: v1+v2)\
    .map(lambda line: (line[0][0], [(line[0][1], line[1])]))\
    .reduceByKey(lambda v1, v2: v1+v2)\
    .map(lambda line: (line[0], sorted(line[1], key=lambda b: b[1], reverse=True)[:top_k]))\
    .flatMap(lambda line: [(line[0], str(p[0]), str(p[1])) for p in line[1]])\
    .map(lambda line: "\t".join(line)).saveAsTextFile('/home/hdit/workdir/yhe/test/result1.txt')

2、下面是测试编码过程：

def split_data(line):
     k,v_list=line
     return_list=[]
     for v in v_list:
             return_list.append((k,v))
     return return_list

from urlparse import urlparse
top_k=3
rdd=sc.textFile('/home/hdit/workdir/yhe/test/data.txt')\
    .filter(lambda line :len(line.split('  ')) == 2)\
    .map(lambda line:((urlparse(line.split('  ')[1]).netloc, line.split('  ')[1]), 1))\
    .reduceByKey(lambda v1, v2: v1+v2)\
    .map(lambda line: (line[0][0], [(line[0][1], line[1])]))\
    .reduceByKey(lambda v1, v2: v1+v2)\
    .map(lambda line: (line[0], sorted(line[1], key=lambda b: b[1], reverse=True)[:top_k]))

'''
>>> rdd.map(split_data).collect()
[[(u'php.aaaaaaa.cn', (u'http://php.aaaaaaa.cn/php/teacher.shtml', 7)), (u'php.aaaaaaa.cn', (u'http://php.aaaaaaa.cn/php/video.shtml', 5)), (u'php.aaaaaaa.cn', (u'http://php.aaaaaaa.cn/php/course.shtml', 3))], [(u'java.aaaaaaa.cn', (u'http://java.aaaaaaa.cn/java/course/javaee.shtml', 7)), (u'java.aaaaaaa.cn', (u'http://java.aaaaaaa.cn/java/course/cloud.shtml', 7)), (u'java.aaaaaaa.cn', (u'http://java.aaaaaaa.cn/java/course/android.shtml', 6))], [(u'net.aaaaaaa.cn', (u'http://net.aaaaaaa.cn/net/teacher.shtml', 10)), (u'net.aaaaaaa.cn', (u'http://net.aaaaaaa.cn/net/video.shtml', 8)), (u'net.aaaaaaa.cn', (u'http://net.aaaaaaa.cn/net/course.shtml', 7))]]
>>> rdd.flatMap(split_data).collect()
[(u'php.aaaaaaa.cn', (u'http://php.aaaaaaa.cn/php/teacher.shtml', 7)), (u'php.aaaaaaa.cn', (u'http://php.aaaaaaa.cn/php/video.shtml', 5)), (u'php.aaaaaaa.cn', (u'http://php.aaaaaaa.cn/php/course.shtml', 3)), (u'java.aaaaaaa.cn', (u'http://java.aaaaaaa.cn/java/course/javaee.shtml', 7)), (u'java.aaaaaaa.cn', (u'http://java.aaaaaaa.cn/java/course/cloud.shtml', 7)), (u'java.aaaaaaa.cn', (u'http://java.aaaaaaa.cn/java/course/android.shtml', 6)), (u'net.aaaaaaa.cn', (u'http://net.aaaaaaa.cn/net/teacher.shtml', 10)), (u'net.aaaaaaa.cn', (u'http://net.aaaaaaa.cn/net/video.shtml', 8)), (u'net.aaaaaaa.cn', (u'http://net.aaaaaaa.cn/net/course.shtml', 7))]
'''

def split_data(line):
    k, v_list = line
    return_list = []
    for v in v_list:
        return_list.append('\t'.join([k, v[0], str(v[1])]))
    return return_list
# 上面的split_data函数等价于表达式：lambda line: [(line[0], str(p[0]), str(p[1])) for p in line[1]]
rdd.flatMap(split_data).saveAsTextFile('/home/hdit/workdir/yhe/test/result.txt')

 三、rdd+dataframe方法：

1、最简可用代码：

rdd = sc.textFile('/home/hdit/workdir/yhe/test/data.txt')\
     .filter(lambda line: len(line.split('  ')) == 2)\
     .map(lambda line: ((urlparse(line.split('  ')[1]).netloc, line.split('  ')[1]), 1))\
     .reduceByKey(lambda v1, v2: v1+v2)\
     .map(lambda line: (line[0][0], line[0][1], line[1]))
pp = sqlContext.createDataFrame(rdd, ["domain_name", "url", "visit_num"])\
    .registerTempTable("visit_tb")
ee = sqlContext.sql("select * from (select domain_name,url,visit_num,row_number() over(partition by domain_name order by visit_num desc) rk from visit_tb)aa where rk<4")
res_rdd = ee.rdd\
            .map(lambda line: (line.domain_name, line.url, line.visit_num, line.rk))\
            .map(lambda line: "\t".join([line[0], line[1], str(line[2]), str(line[3])]))\
            .saveAsTextFile('/home/hdit/workdir/yhe/test/202001.res')

2、测试过程

#!/usr/bin/python2.6
# -*- coding:utf-8 -*-
from pyspark import SparkConf, SparkContext, HiveContext
conf = SparkConf().setAppName('spark_rdd_dataframe_get_top_visit_page')
sc = SparkContext(conf=conf)
sqlContext = HiveContext(sc)

rdd=sc.textFile('/home/hdit/workdir/yhe/test/data.txt')\
     .filter(lambda line :len(line.split('  ')) == 2)\
     .map(lambda line:((urlparse(line.split('  ')[1]).netloc, line.split('  ')[1]), 1))\
     .reduceByKey(lambda v1,v2:v1+v2)\
     .map(lambda line:(line[0][0],line[0][1],line[1]))
pp=sqlContext.createDataFrame(rdd, ["domain_name", "url","visit_num"])
pp.registerTempTable("visit_tb")
'''
>>> pp
DataFrame[domain_name: string, url: string, visit_num: bigint]
>>> pp=sqlContext.createDataFrame(rdd, ["domain_name", "url","visit_num"])
>>> pp
DataFrame[domain_name: string, url: string, visit_num: bigint]
>>> pp.show()
+---------------+--------------------+---------+
|    domain_name|                 url|visit_num|
+---------------+--------------------+---------+
|java.aaaaaaa.cn|http://java.aaaaa...|        7|
|java.aaaaaaa.cn|http://java.aaaaa...|        7|
|java.aaaaaaa.cn|http://java.aaaaa...|        4|
| net.aaaaaaa.cn|http://net.aaaaaa...|        7|
| net.aaaaaaa.cn|http://net.aaaaaa...|       10|
|java.aaaaaaa.cn|http://java.aaaaa...|        6|
| php.aaaaaaa.cn|http://php.aaaaaa...|        5|
|java.aaaaaaa.cn|http://java.aaaaa...|        3|
| php.aaaaaaa.cn|http://php.aaaaaa...|        7|
|java.aaaaaaa.cn|http://java.aaaaa...|        5|
|java.aaaaaaa.cn|http://java.aaaaa...|        6|
| net.aaaaaaa.cn|http://net.aaaaaa...|        8|
| php.aaaaaaa.cn|http://php.aaaaaa...|        3|
|java.aaaaaaa.cn|http://java.aaaaa...|        5|
+---------------+--------------------+---------+

>>> pp.registerTempTable("visit_tb")
>>> ee=sqlContext.sql("select * from visit_tb")
>>> ee.show()
+---------------+--------------------+---------+
|    domain_name|                 url|visit_num|
+---------------+--------------------+---------+
|java.aaaaaaa.cn|http://java.aaaaa...|        7|
|java.aaaaaaa.cn|http://java.aaaaa...|        7|
|java.aaaaaaa.cn|http://java.aaaaa...|        4|
| net.aaaaaaa.cn|http://net.aaaaaa...|        7|
|java.aaaaaaa.cn|http://java.aaaaa...|        3|
|java.aaaaaaa.cn|http://java.aaaaa...|        6|
| php.aaaaaaa.cn|http://php.aaaaaa...|        5|
| net.aaaaaaa.cn|http://net.aaaaaa...|       10|
| php.aaaaaaa.cn|http://php.aaaaaa...|        7|
|java.aaaaaaa.cn|http://java.aaaaa...|        5|
|java.aaaaaaa.cn|http://java.aaaaa...|        6|
| net.aaaaaaa.cn|http://net.aaaaaa...|        8|
| php.aaaaaaa.cn|http://php.aaaaaa...|        3|
|java.aaaaaaa.cn|http://java.aaaaa...|        5|
+---------------+--------------------+---------+
>>> ee=sqlContext.sql("select domain_name,url,visit_num,row_number() over(partition by domain_name order by visit_num desc) rk from visit_tb ")
>>> ee.show()
+---------------+--------------------+---------+---+
|    domain_name|                 url|visit_num| rk|
+---------------+--------------------+---------+---+
| net.aaaaaaa.cn|http://net.aaaaaa...|       10|  1|
| net.aaaaaaa.cn|http://net.aaaaaa...|        8|  2|
| net.aaaaaaa.cn|http://net.aaaaaa...|        7|  3|
| php.aaaaaaa.cn|http://php.aaaaaa...|        7|  1|
| php.aaaaaaa.cn|http://php.aaaaaa...|        5|  2|
| php.aaaaaaa.cn|http://php.aaaaaa...|        3|  3|
|java.aaaaaaa.cn|http://java.aaaaa...|        7|  1|
|java.aaaaaaa.cn|http://java.aaaaa...|        7|  2|
|java.aaaaaaa.cn|http://java.aaaaa...|        6|  3|
|java.aaaaaaa.cn|http://java.aaaaa...|        6|  4|
|java.aaaaaaa.cn|http://java.aaaaa...|        5|  5|
|java.aaaaaaa.cn|http://java.aaaaa...|        5|  6|
|java.aaaaaaa.cn|http://java.aaaaa...|        4|  7|
|java.aaaaaaa.cn|http://java.aaaaa...|        3|  8|
+---------------+--------------------+---------+---+
'''
ee=sqlContext.sql("select * from (select domain_name,url,visit_num,row_number() over(partition by domain_name order by visit_num desc) rk from visit_tb)aa where rk<4")
'''
>>> ee.show()
+---------------+--------------------+---------+---+
|    domain_name|                 url|visit_num| rk|
+---------------+--------------------+---------+---+
| net.aaaaaaa.cn|http://net.aaaaaa...|       10|  1|
| net.aaaaaaa.cn|http://net.aaaaaa...|        8|  2|
| net.aaaaaaa.cn|http://net.aaaaaa...|        7|  3|
| php.aaaaaaa.cn|http://php.aaaaaa...|        7|  1|
| php.aaaaaaa.cn|http://php.aaaaaa...|        5|  2|
| php.aaaaaaa.cn|http://php.aaaaaa...|        3|  3|
|java.aaaaaaa.cn|http://java.aaaaa...|        7|  1|
|java.aaaaaaa.cn|http://java.aaaaa...|        7|  2|
|java.aaaaaaa.cn|http://java.aaaaa...|        6|  3|
+---------------+--------------------+---------+---+

>>> ee.rdd.collect()
[Row(domain_name=u'net.aaaaaaa.cn', url=u'http://net.aaaaaaa.cn/net/teacher.shtml', visit_num=10, rk=1), Row(domain_name=u'net.aaaaaaa.cn', url=u'http://net.aaaaaaa.cn/net/video.shtml', visit_num=8, rk=2), Row(domain_name=u'net.aaaaaaa.cn', url=u'http://net.aaaaaaa.cn/net/course.shtml', visit_num=7, rk=3), Row(domain_name=u'php.aaaaaaa.cn', url=u'http://php.aaaaaaa.cn/php/teacher.shtml', visit_num=7, rk=1), Row(domain_name=u'php.aaaaaaa.cn', url=u'http://php.aaaaaaa.cn/php/video.shtml', visit_num=5, rk=2), Row(domain_name=u'php.aaaaaaa.cn', url=u'http://php.aaaaaaa.cn/php/course.shtml', visit_num=3, rk=3), Row(domain_name=u'java.aaaaaaa.cn', url=u'http://java.aaaaaaa.cn/java/course/javaee.shtml', visit_num=7, rk=1), Row(domain_name=u'java.aaaaaaa.cn', url=u'http://java.aaaaaaa.cn/java/course/cloud.shtml', visit_num=7, rk=2), Row(domain_name=u'java.aaaaaaa.cn', url=u'http://java.aaaaaaa.cn/java/course/base.shtml', visit_num=6, rk=3)]
>>> ee.rdd.map(lambda line:(line.domain_name,line.url,line.visit_num,line.rk)).collect()
[(u'net.aaaaaaa.cn', u'http://net.aaaaaaa.cn/net/teacher.shtml', 10, 1), (u'net.aaaaaaa.cn', u'http://net.aaaaaaa.cn/net/video.shtml', 8, 2), (u'net.aaaaaaa.cn', u'http://net.aaaaaaa.cn/net/course.shtml', 7, 3), (u'php.aaaaaaa.cn', u'http://php.aaaaaaa.cn/php/teacher.shtml', 7, 1), (u'php.aaaaaaa.cn', u'http://php.aaaaaaa.cn/php/video.shtml', 5, 2), (u'php.aaaaaaa.cn', u'http://php.aaaaaaa.cn/php/course.shtml', 3, 3), (u'java.aaaaaaa.cn', u'http://java.aaaaaaa.cn/java/course/javaee.shtml', 7, 1), (u'java.aaaaaaa.cn', u'http://java.aaaaaaa.cn/java/course/cloud.shtml', 7, 2), (u'java.aaaaaaa.cn', u'http://java.aaaaaaa.cn/java/course/base.shtml', 6, 3)]
>>>
'''
res_rdd= ee.rdd.map(lambda line:(line.domain_name, line.url, line.visit_num, line.rk)).map(lambda line: "\t".join([line[0],line[1],str(line[2]),str(line[3])]))
# >>> res_rdd.collect()
# [u'net.aaaaaaa.cn\thttp://net.aaaaaaa.cn/net/teacher.shtml\t10\t1', u'net.aaaaaaa.cn\thttp://net.aaaaaaa.cn/net/video.shtml\t8\t2', u'net.aaaaaaa.cn\thttp://net.aaaaaaa.cn/net/course.shtml\t7\t3', u'php.aaaaaaa.cn\thttp://php.aaaaaaa.cn/php/teacher.shtml\t7\t1', u'php.aaaaaaa.cn\thttp://php.aaaaaaa.cn/php/video.shtml\t5\t2', u'php.aaaaaaa.cn\thttp://php.aaaaaaa.cn/php/course.shtml\t3\t3', u'java.aaaaaaa.cn\thttp://java.aaaaaaa.cn/java/course/javaee.shtml\t7\t1', u'java.aaaaaaa.cn\thttp://java.aaaaaaa.cn/java/course/cloud.shtml\t7\t2', u'java.aaaaaaa.cn\thttp://java.aaaaaaa.cn/java/course/base.shtml\t6\t3']

res_rdd.saveAsTextFile('/home/hdit/workdir/yhe/test/202001.res')

四、数据data.txt内容如下:

20160321101954  http://java.aaaaaaa.cn/java/course/javaeeadvanced.shtml
20160321101954  http://java.aaaaaaa.cn/java/course/javaee.shtml
20160321101954  http://java.aaaaaaa.cn/java/course/android.shtml
20160321101954  http://java.aaaaaaa.cn/java/video.shtml
20160321101954  http://java.aaaaaaa.cn/java/teacher.shtml
20160321101954  http://java.aaaaaaa.cn/java/course/android.shtml
20160321101954  http://php.aaaaaaa.cn/php/teacher.shtml
20160321101954  http://net.aaaaaaa.cn/net/teacher.shtml
20160321101954  http://java.aaaaaaa.cn/java/course/hadoop.shtml
20160321101954  http://java.aaaaaaa.cn/java/course/base.shtml
20160321101954  http://net.aaaaaaa.cn/net/course.shtml
20160321101954  http://php.aaaaaaa.cn/php/teacher.shtml
20160321101954  http://net.aaaaaaa.cn/net/video.shtml
20160321101954  http://java.aaaaaaa.cn/java/course/base.shtml
20160321101954  http://net.aaaaaaa.cn/net/teacher.shtml
20160321101954  http://java.aaaaaaa.cn/java/video.shtml
20160321101954  http://java.aaaaaaa.cn/java/video.shtml
20160321101954  http://net.aaaaaaa.cn/net/video.shtml
20160321101954  http://net.aaaaaaa.cn/net/course.shtml
20160321101954  http://java.aaaaaaa.cn/java/course/javaee.shtml
20160321101954  http://java.aaaaaaa.cn/java/course/android.shtml
20160321101955  http://php.aaaaaaa.cn/php/course.shtml
20160321101955  http://net.aaaaaaa.cn/net/teacher.shtml
20160321101955  http://php.aaaaaaa.cn/php/teacher.shtml
20160321101955  http://java.aaaaaaa.cn/java/course/base.shtml
20160321101955  http://net.aaaaaaa.cn/net/teacher.shtml
20160321101955  http://java.aaaaaaa.cn/java/course/javaee.shtml
20160321101955  http://php.aaaaaaa.cn/php/video.shtml
20160321101955  http://net.aaaaaaa.cn/net/course.shtml
20160321101955  http://php.aaaaaaa.cn/php/video.shtml
20160321101955  http://java.aaaaaaa.cn/java/course/android.shtml
20160321101955  http://java.aaaaaaa.cn/java/course/javaee.shtml
20160321101955  http://java.aaaaaaa.cn/java/course/javaee.shtml
20160321101955  http://net.aaaaaaa.cn/net/video.shtml
20160321101955  http://net.aaaaaaa.cn/net/teacher.shtml
20160321101955  http://java.aaaaaaa.cn/java/teacher.shtml
20160321101955  http://java.aaaaaaa.cn/java/course/android.shtml
20160321101955  http://java.aaaaaaa.cn/java/course/javaee.shtml
20160321101955  http://java.aaaaaaa.cn/java/course/cloud.shtml
20160321101955  http://net.aaaaaaa.cn/net/video.shtml
20160321101956  http://java.aaaaaaa.cn/java/course/javaeeadvanced.shtml
20160321101956  http://net.aaaaaaa.cn/net/video.shtml
20160321101956  http://net.aaaaaaa.cn/net/video.shtml
20160321101956  http://java.aaaaaaa.cn/java/course/javaeeadvanced.shtml
20160321101956  http://java.aaaaaaa.cn/java/course/android.shtml
20160321101956  http://java.aaaaaaa.cn/java/course/hadoop.shtml
20160321101956  http://java.aaaaaaa.cn/java/course/javaee.shtml
20160321101956  http://java.aaaaaaa.cn/java/course/javaeeadvanced.shtml
20160321101956  http://php.aaaaaaa.cn/php/teacher.shtml
20160321101956  http://net.aaaaaaa.cn/net/teacher.shtml
20160321101956  http://java.aaaaaaa.cn/java/course/base.shtml
20160321101956  http://java.aaaaaaa.cn/java/course/cloud.shtml
20160321101956  http://php.aaaaaaa.cn/php/teacher.shtml
20160321101956  http://net.aaaaaaa.cn/net/course.shtml
20160321101956  http://net.aaaaaaa.cn/net/teacher.shtml
20160321101956  http://php.aaaaaaa.cn/php/video.shtml
20160321101956  http://java.aaaaaaa.cn/java/course/cloud.shtml
20160321101956  http://java.aaaaaaa.cn/java/course/cloud.shtml
20160321101956  http://java.aaaaaaa.cn/java/course/hadoop.shtml
20160321101957  http://java.aaaaaaa.cn/java/teacher.shtml
20160321101957  http://php.aaaaaaa.cn/php/teacher.shtml
20160321101957  http://net.aaaaaaa.cn/net/teacher.shtml
20160321101957  http://net.aaaaaaa.cn/net/teacher.shtml
20160321101957  http://php.aaaaaaa.cn/php/teacher.shtml
20160321101957  http://php.aaaaaaa.cn/php/course.shtml
20160321101957  http://java.aaaaaaa.cn/java/course/base.shtml
20160321101957  http://net.aaaaaaa.cn/net/course.shtml
20160321101957  http://java.aaaaaaa.cn/java/video.shtml
20160321101957  http://php.aaaaaaa.cn/php/video.shtml
20160321101957  http://net.aaaaaaa.cn/net/teacher.shtml
20160321101957  http://java.aaaaaaa.cn/java/video.shtml
20160321101957  http://net.aaaaaaa.cn/net/video.shtml
20160321101957  http://java.aaaaaaa.cn/java/course/hadoop.shtml
20160321101957  http://net.aaaaaaa.cn/net/course.shtml
20160321101957  http://java.aaaaaaa.cn/java/course/cloud.shtml
20160321101957  http://java.aaaaaaa.cn/java/course/cloud.shtml
20160321101958  http://net.aaaaaaa.cn/net/course.shtml
20160321101958  http://java.aaaaaaa.cn/java/course/hadoop.shtml
20160321101958  http://php.aaaaaaa.cn/php/video.shtml
20160321101958  http://php.aaaaaaa.cn/php/course.shtml
20160321101958  http://java.aaaaaaa.cn/java/course/cloud.shtml
20160321101958  http://net.aaaaaaa.cn/net/video.shtml
20160321101958  http://java.aaaaaaa.cn/java/course/base.shtml

需求参考：https://blog.csdn.net/jiaotongqu6470/article/details/78462203
技术参考：https://blog.csdn.net/helloxiaozhe/article/details/103443028
                  https://blog.csdn.net/helloxiaozhe/article/details/103809088

Data_IT_Farmer
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
25个经典Spark算子的JAVA实现
08-16
1、25个经典Spark算子的JAVA实现。2、含有详细的注释。3、全部通过junit测试。
Spark：一个高效的分布式计算系统
02-26
Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的mapreduce的算法。其架构如下图所示：Spark的中间数据放到内存中，对于迭代运算效率更高。Spark更适合于迭代运算比较多的ML和DM运算。因为在Spark里面，有RDD的抽象概念。Spark比Hadoop更通用。Spark提供的数
Spark学习---统计文件单词出现次数
05-12
上一节我们简单介绍了RDD中转化和执行操作的用法，本节将通过一个具体的示例来加深对RDD的认识。 一.需求 统计本地文件中单词出现次数 二.操作流程 1.读取外部文件创建JavaRDD; 2.通过flatMap转化操作切分字符串，获取单词新JavaRDD; 3.通过mapToPair，以key为单词，value统一为1的键值JavaPairRDD; 4.通过reduceByKey，累计叠加每个key，统计单词出现次数； 三.代码实现 四.下载代码
kafka-twitter-spark-streaming：实时计算每个用户的推文
02-06
Apache Kafka的Twitter和Spark流 该项目实时统计每个用户包含＃GoTS7主题标签的推文。 此外，还会打印用户名和推文计数。 代码说明 身份验证操作已通过Python的Tweepy模块完成。 为Twitter流创建了名为KafkaPushListener的StreamListener。 StreamListener为Kafka Consumer生成数据。 产生的数据已被过滤掉，其中包括《权力的游戏》主题标签。 创建SparkContext来连接Spark集群。 创建了使用“ twitter”主题中的数据的Kafka Consumer。 计算每个用户包含＃GotS7
【Spark实训】--竞赛网站访问日志分析
一只大数据专业的傻猪猪
04-17 5898
竞赛网站访问日志分析；1、过滤出访问次数在 50 次以上的用户记录 2、统计访问 50 次以上的用户主要访问的前 5 类网页 3. 合并部分网页 4.根据访问时间加入对应时段
Spark RDD统计每个域名下，不同的URL对应的访问次数的top3
u013429010的博客
12-19 1385
文章原地址： https://www.codeobj.com/?p=574 1、数据来源 1）数据样例 http://www.itpub.net/?username=04209 [2018-12-19 10:14:28] 63 https://www.cnblogs.com/AK47Sonic/?username=03053 [2018-12-19 10:33:44] 33 http://mail...
Spark项目练习（计算用户访问学科子网页的top3）
sonicgyq_gyq的博客
01-30 1404
项目说明：附件为要计算数据的demo。点击打开链接 利用spark的缓存机制，读取需要筛选的数据，自定义一个分区器，将不同的学科数据分别放到一个分区器中，并且根据指定的学科，取出点击量前三的数据，并写入文件。 具体程序如下： 1、项目主程序： package cn.allengao.Location import java.net.URL import org.apache.spark
Spark学习：求网址的top3访问地区及网站pv、uv
NeboFeng的博客
11-26 1020
思路： 生成用户不同时间访问不同网站的数据，计算出pv 、uv pv 页面访一次加1 ，uv 不同用户访问 加1 //ip val IP = 223 //地址 val ADDRESS = Array("北京", "天津", "上海", "重庆", "河北", "辽宁","山西", "吉林", "江苏", "浙江", "黑龙江", "安徽", "福建", "江西", "...
Spark 分析网站排名热度
weixin_34216196的博客
07-25 169
需求:/ 解决是一个各个子模块内的热度排名--》 排名得用sortBy ---》 （可能就是简单的排序，或者是二次排序） ---》// 前面有一个wordCount---》 算出次数出来 --》 考虑什么作为key//算的一个网站下面，每个子模块下面的网页热度前2名 ：// 算的一个网站下面，每个子模块下面的网页热度前2名 --》 每个子模块下面的网页的次数的前2名// 在...
Spark学习笔记（6）—— 网站访问次数统计
一角残叶的博客
10-18 1880
1 数据文件 20160321101954 http://java.itcast.cn/java/course/javaeeadvanced.shtml 20160321101954 http://java.itcast.cn/java/course/javaee.shtml 20160321101954 http://java.itcast.cn/java/course/android.shtm...
统计网站被访问的次数
05-24
统计网站被访问的次数
Spark入门详解（四）-网页排名算子开发实例
若闲小阁
11-22 452
个人博客原文链接 思路分析： 1.此操作需要用到两个pairRDD，第一个pairRDD，key：当前页面，value：当前页面所含链接页面的合集。 2.第二个pairRDD，key：当前页面，value：当前页面的权重 3.两个pairRDD在循环中根据key进行连接操作，计算每次循环返回后各个页面的权重值 4.根据权重值的大小可知页面的排名 开发代码： object PageRankTest ...
SparkSQL 统计某天每个用户访问页面次数前N的的页面
高興
02-10 1266
前两天有小老弟面试遇到如下问题： 那应该如何完成这个SQL语句的书写呢？ 测试数据： val rdd = spark.sparkContext.makeRDD( List( ("2018-01-01", 1, "www.baidu.com", "10:01"), ("2018-01-01", 2, "www.baidu.com", "10:01"), ("2018-0...
【大数据】PageRank网页排名图算法（MapReduce Java+Spark Scala）
CS之路
05-05 2330
实验环境： ubuntu 18.04 hadoop 2.7.1 JDK 1.8 spark2.3.3 scala 2.11.8 目录 一、实验原理 二、用MapReduce实现PageRank 三、用Spark实现PageRank 一、实验原理 1. 什么是PageRank PageRank是一种在搜索引擎中根据网页之间相互的链接关系计算网页排名的技术。 P...
Spark中求网站的访问量
知其然，知其所以然
02-01 733
美图欣赏： 一.数据样式： 二.要求 求出访问量最高的两个网页 要求显示：网页名称、访问量 三.代码实现： import org.apache.spark.{SparkConf, SparkContext} object TomcatLogCount extends App { //获取spark的sc var conf = new SparkCo...
spark应用----统计分析电商网站的用户行为数据
最新发布
m0_55685698的博客
06-27 716
本项目的数据是采集电商网站的用户行为数据，主要包含用户的4种行为：搜索、点击、下单和支付。需求说明：品类是指产品的分类，大型电商网站品类分多级，咱们的项目中品类只有一级，不同的公司可能对热门的定义不一样。我们按照每个品类的点击、下单、支付的量来统计热门品类。编号字段名称字段类型字段含义1dateString用户点击行为的日期2user_idLong用户的ID3session_idStringSession的ID4page_idLong某个页面的ID5String。
Spark scala编程练习题——通过日志统计网站访问量
qq_38151907的博客
11-30 1511
Spark scala编程练习题——通过日志统计网站访问量
大数据【一百二十】Spark【七】-- Spark Core【七】编程案例：找到访问量最高的两个网页/ 用自定义分区实现spark分区/日志写入mysql/ 使用JDBC RDD 操作数据库
sunshine77_的博客
03-09 208
一、 需求：找到访问量最高的两个网页 1. 文件：localhost_access_log.txt 192.168.88.1 - - [30/Jul/2017:12:53:43 +0800] "GET /MyDemoWeb/ HTTP/1.1" 200 259 192.168.88.1 - - [30/Jul/2017:12:53:43 +0800] "GET /MyDemoWe...
Spark RDD算子实例——统计广告点击量 Top3
weixin_43520450的博客
09-14 1036
1、数据准备 数据结构：时间戳，省份，城市，用户，广告，中间字段使用空格分隔。 数据样式如下： 1516609143867 6 7 64 16 1516609143869 9 4 75 18 1516609143869 1 7 87 12 1516609143869 2 8 92 9 1516609143869 6 7 84 24 1516609143869 1 8 95 5 1516609143869 8 1 90 29 1516609143869 3 3 36 16 1516609143869 3 3
spark输出每行的前三个单词
03-23
可以使用Spark的map和split函数来实现这个功能。具体代码如下： val lines = sc.textFile("input.txt") val words = lines.map(line => line.split(" ").take(3).mkString(" ")) words.saveAsTextFile("output.txt") 这段代码会读取名为input.txt的文件，将每行按空格分割，取前三个单词，然后将结果保存到名为output.txt的文件中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值