Scala--Spark将某网站的爬虫记录进行整理

最新推荐文章于 2024-01-16 09:46:30 发布

橙以

最新推荐文章于 2024-01-16 09:46:30 发布

阅读量979

点赞数

文章标签：爬虫后数据整理 Scala Spark

本文链接：https://blog.csdn.net/qq_42721694/article/details/85252607

版权

本文介绍如何利用Scala和Spark处理爬虫数据，包括提取IP、统计访问频率、识别黑名单IP以及整理同一时间访问网站的IP列表。

摘要由CSDN通过智能技术生成

设计思路：

1.将ip截取出来（多种方式）用map组成二元组（注意区分map，flatmap）将相同ip出现次数统计出来分析得出爬虫ip

2.将多次重复ip且访问密集的设为访问黑名单

3.将同一时间访问某网站的ip整理出来

package Test1225


import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

object Spider01{
//  练习1 将ip出现次数多的爬虫ip挑选出来
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local[*]").setAppName("ip")
    val ssc = new StreamingContext(conf,Seconds(10))
    ssc.sparkContext.setLogLevel("ERROR")
    ssc.checkpoint("d://123/eq")
    val ds = ssc.socketTextStream("lion",9999)
    val paris = ds.map(_.split(" ")(0)).map(x => (x,1)).reduceByKey(_+_).filter(x => x._2 > 5)

    val res = paris.updateStateByKey(updateFunction).repartition(1)
    res.saveAsTextFiles("D://124//spider01")//查询到的结果输出到本地目录
    res.print()