Scala学习之爬豆瓣电影

最新推荐文章于 2023-12-18 16:11:29 发布
最新推荐文章于 2023-12-18 16:11:29 发布
阅读量4.7k 收藏 30
点赞数
分类专栏： Scala 服务化学习 文章标签： scala github 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/peace1213/article/details/62231260
版权

简单使用Scala和Jsoup对豆瓣电影进行爬虫，技术比较简单易学。

写文章不易，欢迎大家采我的文章，以及给出有用的评论，当然大家也可以关注一下我的github；多谢；

1、爬虫前期准备

  1. 找好需要抓取的链接：https://movie.douban.com/tag/%E7%BB%8F%E5%85%B8?start=20&type=T
  2. 观看该链接的源码，找到需要进行解析的地方如本实例：图中标明了需要提取的字段。
    1
  3. 下载Jsoup的jar包文件：https://jsoup.org/download
  4. 建立Scala工程，并将Jsoup的jar包加入工程

2、Jsoup简单介绍：

      Jsoup学习请看这个网址：jsoup Cookbook(中文版)：http://www.open-open.com/jsoup/
      我这里只介绍我用到了的四个函数：

1、第一个函数：Jsoup.connect(url)
val doc:Document=Jsoup.connect(url).get()//从一个网站获取和解析一个HTML文档,使用get方式。说的直白点这里获得的就是网页的源码；
//特殊使用：带有参数并使用Post方式
Document doc = Jsoup.connect("http://example.com")
  .data("query", "Java")
  .userAgent("Mozilla")
  .cookie("auth", "token")
  .timeout(3000)
  .post();

2、第二个函数：Element.select(String selector)
doc.select("a.nbg")//通过使用CSS（或Jquery）selector syntax 获得你想要操作元素，这里获得的是说有class=nbg的<a/>标签。

3、第三个函数：public String attr(String attributeKey)
Elements中的attr函数是通过属性获得Element中第一个匹配该属性的值，如elem.select("a.nbg").attr("title")：获得a标签中的title。

4、第四个函数：public String html()
获得element中包含的Html内容

3、解析Html：

      这里的Html内容比较简单，只需要获得如图一中标记的四处。这里只要用到第二章中的后面三个方法。

//解析Document，需要对照网页源码进行解析
def parseDoc(doc: Document, movies: ConcurrentHashMap[String, String]) = {
  var count = 0
  for (elem <- doc.select("tr.item")) {//获得所有的电影条目
    movies.put(elem.select("a.nbg").attr("title"), elem.select("a.nbg").attr("title") + "\t" //标题
      + elem.select("a.nbg").attr("href") + "\t" //豆瓣链接
      // +elem.select("p.pl").html+"\t"//简介
      + elem.select("span.rating_nums").html + "\t" //评分
      + elem.select("span.pl").html //评论数
    )
    count += 1
  }
  count
}

4、建立连接获得对应Url的Html

      这里使用了Scala中的Try语法，我这里只简单说明，当Jsoup.connect(url).get() 返回异常时模式匹配会匹配Failure(e)并将异常赋值给模板类中的e。当返回成功时将匹配Success(doc)，并将获得的Html的Document赋值给doc。

//用于记录总数，和失败次数
val sum, fail: AtomicInteger = new AtomicInteger(0)
/**
  *  当出现异常时10s后重试,异常重复100次
  * @param delay：延时时间
  * @param url：抓取的Url
  * @param movies：存取抓到的内容
  */
def requestGetUrl(times: Int = 100, delay: Long = 10000)(url: String, movies: ConcurrentHashMap[String, String]): Unit = {
  Try(Jsoup.connect(url).get()) match {//使用try来判断是否成功和失败对网页进行抓取
    case Failure(e) =>
      if (times != 0) {
        println(e.getMessage)
        fail.addAndGet(1)
        Thread.sleep(delay)
        requestGetUrl(times - 1, delay)(url, movies)
      } else throw e
    case Success(doc) =>
      val count = parseDoc(doc, movies);
      if (count == 0) {
        Thread.sleep(delay);
        requestGetUrl(times - 1, delay)(url, movies)
      }
      sum.addAndGet(count);
  }
}

5、使用并发集合

      为了加快住区速度使用了Scala中的并发集合：par。类似于java中的fork/join框架；

/**
  * 多线程抓取
  * @param url:原始的Url
  * @param tag：电影标签
  * @param maxPage：页数
  * @param threadNum：线程数
  * @param movies：并发集合存取抓到的内容
  */
def concurrentCrawler(url: String, tag: String, maxPage: Int, threadNum: Int, movies: ConcurrentHashMap[String, String]) = {
  val loopPar = (0 to maxPage).par
  loopPar.tasksupport = new ForkJoinTaskSupport(new ForkJoinPool(threadNum)) // 设置并发线程数
  loopPar.foreach(i => requestGetUrl()(url.format(URLEncoder.encode(tag, "UTF-8"), 20 * i), movies)) // 利用并发集合多线程同步抓取:遍历所有页
  saveFile1(tag, movies)//保存为文件
}

6、执行任务：

      想要进行爬虫只需要这样调用concurrentCrawler(URL, tag, page, Thread_Num, new ConcurrentHashMapString, String)函数就行。

def main(args: Array[String]): Unit = {
    val Thread_Num = 30 //指定并发执行线程数
    val t1 = System.currentTimeMillis
    for ((tag, page) <- tags)
      concurrentCrawler(URL, tag, page, Thread_Num, new ConcurrentHashMap[String, String]())//并发抓取
    val t2 = System.currentTimeMillis
    println(s"抓取数：$sum  重试数：$fail  耗时(秒)：" + (t2 - t1) / 1000)
  }
}

运行结果：
抓取数：793 重试数：0 耗时(秒)：4
01
02

本文来自伊豚wpeace(blog.wpeace.cn)

7、全部代码：

import java.io.{File, PrintWriter}
import java.net.URLEncoder
import java.text.SimpleDateFormat
import java.util.Date
import java.util.concurrent.ConcurrentHashMap
import java.util.concurrent.atomic.AtomicInteger

import org.jsoup.Jsoup
import org.jsoup.nodes.Document

import scala.collection.JavaConversions._
import scala.collection.mutable.ArrayBuffer
import scala.collection.parallel.ForkJoinTaskSupport
import scala.concurrent.forkjoin.ForkJoinPool
import scala.util.{Failure, Success, Try}

/**
  * Created by peace on 2017/3/5.
  */
object Douban {
  val URL = "https://movie.douban.com/tag/%s?start=%d&type=T"
  //访问的链接
  //需要抓取的标签和页数
  val tags = Map(
    "经典" -> 4, //tag，页数
    "爱情" -> 4,
    "动作" -> 4,
    "剧情" -> 4,
    "悬疑" -> 4,
    "文艺" -> 4,
    "搞笑" -> 4,
    "战争" -> 4
  )

  //解析Document，需要对照网页源码进行解析
  def parseDoc(doc: Document, movies: ConcurrentHashMap[String, String]) = {
    var count = 0
    for (elem <- doc.select("tr.item")) {
      movies.put(elem.select("a.nbg").attr("title"), elem.select("a.nbg").attr("title") + "\t" //标题
        + elem.select("a.nbg").attr("href") + "\t" //豆瓣链接
        // +elem.select("p.pl").html+"\t"//简介
        + elem.select("span.rating_nums").html + "\t" //评分
        + elem.select("span.pl").html //评论数
      )
      count += 1
    }
    count
  }

  //用于记录总数，和失败次数
  val sum, fail: AtomicInteger = new AtomicInteger(0)
  /**
    *  当出现异常时10s后重试,异常重复100次
    * @param delay：延时时间
    * @param url：抓取的Url
    * @param movies：存取抓到的内容
    */
  def requestGetUrl(times: Int = 100, delay: Long = 10000)(url: String, movies: ConcurrentHashMap[String, String]): Unit = {
    Try(Jsoup.connect(url).get()) match {//使用try来判断是否成功和失败对网页进行抓取
      case Failure(e) =>
        if (times != 0) {
          println(e.getMessage)
          fail.addAndGet(1)
          Thread.sleep(delay)
          requestGetUrl(times - 1, delay)(url, movies)
        } else throw e
      case Success(doc) =>
        val count = parseDoc(doc, movies);
        if (count == 0) {
          Thread.sleep(delay);
          requestGetUrl(times - 1, delay)(url, movies)
        }
        sum.addAndGet(count);
    }
  }

  /**
    * 多线程抓取
    * @param url:原始的Url
    * @param tag：电影标签
    * @param maxPage：页数
    * @param threadNum：线程数
    * @param movies：并发集合存取抓到的内容
    */
  def concurrentCrawler(url: String, tag: String, maxPage: Int, threadNum: Int, movies: ConcurrentHashMap[String, String]) = {
    val loopPar = (0 to maxPage).par
    loopPar.tasksupport = new ForkJoinTaskSupport(new ForkJoinPool(threadNum)) // 设置并发线程数
    loopPar.foreach(i => requestGetUrl()(url.format(URLEncoder.encode(tag, "UTF-8"), 20 * i), movies)) // 利用并发集合多线程同步抓取:遍历所有页
    saveFile1(tag, movies)
  }

  //直接输出
  def saveFile(file: String, movies: ConcurrentHashMap[String, String]) = {
    val writer = new PrintWriter(new File(new SimpleDateFormat("yyyyMMdd").format(new Date()) + "_" + file ++ ".txt"))
    for ((_, value) <- movies) writer.println(value)
    writer.close()
  }

  // 排序输出到文件
  def saveFile1(file: String, movies: ConcurrentHashMap[String, String]) = {
    val writer = new PrintWriter(new File(new SimpleDateFormat("yyyyMMdd").format(new Date()) + "_" + file ++ ".txt"))
    val col = new ArrayBuffer[String]();
    for ((_, value) <- movies)
      col += value;
    val sort = col.sortWith(
      (o1, o2) => {
        val s1 = o1.split("\t")(2);
        val s2 = o2.split("\t")(2);
        if (s1 == null || s2 == null || s1.isEmpty || s2.isEmpty) {
          true
        } else {
          s1.toFloat > s2.toFloat
        }
      }
    )
    sort.foreach(writer.println(_))
    writer.close()
  }

  def main(args: Array[String]): Unit = {
    val Thread_Num = 30 //指定并发执行线程数
    val t1 = System.currentTimeMillis
    for ((tag, page) <- tags)
      concurrentCrawler(URL, tag, page, Thread_Num, new ConcurrentHashMap[String, String]())//并发抓取
    val t2 = System.currentTimeMillis
    println(s"抓取数：$sum  重试数：$fail  耗时(秒)：" + (t2 - t1) / 1000)
  }
}
伊豚
关注
专栏目录
九章算法: 深度学习、强化学习、机器学习、推荐系统、图像处理、文本处理、序列处理、搜索引擎、数据分析等
AI天才研究院
09-11 3599
随着计算机技术的飞速发展，人工智能和机器学习领域迎来蓬勃发展的时代，从“知识图谱”到“零售系统自动化”，人工智能技术正在改变着社会生活的方方面面。传统的人工智能技术都依赖于硬件上的复杂计算能力，如神经网络、决策树等，但对于实际生产场景来说，由于工程量、成本、可靠性等限制，这些方法无法满足需求。2017年1月，百度开源了一套基于TensorFlow框架的AI开发工具包，称之为PaddlePaddle。这一工具包提供多种高级API接口，支持主流机器学习算法，在人工智能领域崭露头角。
Python 机器学习 基础 之 【处理机器问题/从原型到生产/测试生产系统/构建自己的估计器】的简单说明
最新发布
仙魁XAN
06-03 1240
Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。
simple-crawler:scala 一个非常简单的网络爬虫实现
06-29
简单爬虫 scala 一个非常简单的网络爬虫实现 用法： 导入 som.fun.crawl._ new Crawler("
scala 爬虫demo
weixin_30411819的博客
03-16 142
import scala.concurrent._import scala.concurrent.duration._import scala.concurrent.ExecutionContext.Implicits.globalimport java.net.URLimport java.net.HttpURLConnectionimport scala.collection.Jav...
scala 实现简单爬虫
w_j_w2010的博客
11-07 2962
package som.fun.crawl   import scala.concurrent._ import scala.concurrent.duration._ import scala.concurrent.ExecutionContext.Implicits.global import java.net.URL import java.net.Htt
一个超级简单的scala豆瓣爬虫
weixin_46466198的博客
09-13 288
一个超级简单的scala豆瓣爬虫 import com.wzs.spider.Helper import scala.collection.mutable.ListBuffer object spider { var helper=new Helper() val list:ListBuffer[Film]=new ListBuffer[Film] def main(args: Array[String]): Unit = { val url="https://movie.douba
Scala中编写多线程爬虫程序并做可视化处理
随便写写
11-10 2137
在Scala中，我们可以创建一个名为Spider的类来实现爬虫程序。初始化：设置爬虫需要访问的URL列表和其他必要的参数。爬取数据：定义一个函数来从指定的URL获取数据。该函数应该使用AsyncHttpClient库发送HTTP请求，并使用Play框架的Future对象来处理异步结果。多线程处理：使用Play框架的Actor模型或线程池来创建多个线程，并发地执行爬取任务。可以使用Future对象来处理每个线程的执行结果。数据存储：将爬取到的数据存储到数据库或文件中，以便后续处理和分析。
豆瓣电影R语言爬虫和数据分析.
weixin_51463905的博客
06-29 2233
主要内容： 1、r语言爬虫 rvest包的使用。 2、r语言字符串处理stringr包的使用。 3、r语言聚合dplyr 包的使用。 4、r语言可视化ggplot 包的使用。 5、r语言画词云图worldcloud2 包的使用。 6、正则表达式 str_match 的使用 7、sapply的用法。 8、字符串切割函数str_split的 用法。 代码片段1（字符串切割和字符串正则匹配）： > (a <- "2017-12-25") [1] "2017-12-25" &gt
python爬虫（个人学习笔记）
m0_60448868的博客
08-16 139
在学习过程中是跟随 https://www.bilibili.com/video/BV12E411A7ZQ?p=26&spm_id_from=pageDriver视频中的老师 自己多写两遍也就熟悉了，主要还是字母的拼写的正确率还有缩行问题 一.正则表达式相关知识 一、校验数字的表达式 1. 数字：^[0-9]*$ 2. n位的数字：^\d{n}$ 3. 至少n位的数字：^\d{n,}$ 4. m-n位的数字：^\d{m,n}$ 5. 零和非零开头的数字：^(0|[1-9][0.
大数据学习顺序
qq_44751060的博客
12-20 1397
第一阶段：Java语言编程基础 1.计算机基础 DOS常用命令、Java概述、JDK环境安装配置、环境变量配置、Java程序入门 2.编程基础 常量与变量、数据类型、运算符、流程控制语句、方法、数组 3.面向对象 面向对象思想、类与对象、成员变量和局部变量、封装、 this关键字、构造方法 4.常用类 Object类、Scanner类、Random类、String、StringBuilde...
crawler:使用 Scala 和 Akka 构建的网络爬虫
06-17
履带式 一个使用 Scala 和 Akka 构建的简单网络爬虫库。 允许用户轻松地对爬虫找到的每个页面执行操作 建造 需要来构建。 只要安装了它，就可以运行以下命令来打包 JAR 并将它们安装到本地 Maven 存储库中： sbt clean publish 包括 如果您在本地发布此库，则可以将其包含在任何 Maven 项目中，如下所示： <dependency> <groupId>com.monitorjbl</groupId> <artifactId>crawler</artifactId> <version>1.0-SNAPSHOT</version> </dependency> 用法 要使用，只需编写com.monitorjbl.crawler.actors.HttpActor类的实现： public class MyActor extends HttpAc
scala-scraper：一个Scala库，用于从HTML页面抓取内容
02-05
scala-scraper：一个Scala库，用于从HTML页面抓取内容
Scala语言编写的爬虫应用-爬取一部小说
ChainingBlocks
01-24 5182
这几天使用手机看玄幻小说《斗罗大陆3-龙王传说》，页面总是弹出色色的广告，不但浪费了流量延迟了加载时间，而且严重影响心情，决定写一个爬虫爬取该网站的小说部分的内容，把它保存成txt格式，直接使用手机阅读器阅读，告别烦人的广告，爽得飞起！我所爬取得小说的下载地址在本文末尾给出，可以免费下载。 使用语言：Scala 代码使用：下面所有的代码都是在一个.scala文件中的，复制粘贴点击运行就可以了。从第一
（理论）推荐系统——从0开始大数据开发实战：电影推荐系统（scala版）
qq_40959369的博客
06-21 3536
一、推荐系统 根据用户的历史数据发掘用户的潜在需求。 二、长尾商品 区别于热门商品，热门商品代表用户们的普遍需求，而长尾商品代表用户的个性化需求。 三、推荐方法 1）专家推荐（人工推荐）：资深专家根据经验给出推荐。 2）统计推荐（热门推荐）：根据历史记录进行统计，得出推荐结果，简单有效。 3）内容推荐：利用机器学习，根据物品的特性，找出相似物品。 4）协同过滤推荐：根据本用户的历史数据，找出最相近的用户，根据最近用户对某物品的喜好，计算本用户对该物品的喜好程度。 5）混合推荐：..
用Scala打造精悍爬虫（一）游记篇
duanhengbin的专栏
10-21 1814
分享一下前段学习Scala做的一个爬虫程序。   【关于爬虫】 接触爬虫的时间并不长，发现python在这个领域有很大的份额。虽然也用过python，但是始终觉得动态语言做这种“严谨“工作还是不如Java，当然更没法和Scala比。 总结一下爬虫的主要困难： 痛点1：网断，大量爬取时，各种超时错是司空见惯，需要有良好的重试机制防止被打断。 痛点2：验证码，一般大网站都有反爬机制，当...
简单的scala实现的网络爬虫
w_j_w2010的博客
11-23 4677
一个简单的scala实现的网络爬虫，不到100行代码，可配置抓取规则，下载后的回调函数等 代码放在 github https://github.com/rock117/simple-crawler 还有几个小地方没写好，有时间再完善下 标签： 代码片段(1) [全屏查看所有代码] 1. [代码]scala简单爬虫     ?      package som.fun.cr
Scala语言使用Selenium库编写网络爬虫
随便写写
11-07 1262
使用Scala语言和Selenium库编写网络爬虫可以高效地抓取网页内容并提取所需信息。通过本文的介绍，你可以了解到如何使用Scala和Selenium库编写一个通用的爬虫程序，并对其进行优化和扩展。在实际应用中，可以根据具体需求选择合适的优化方法和扩展方向，以满足不断变化的市场需求。希望这些信息能帮助你更好地理解和应用Scala语言和Selenium库在爬虫方面的应用。
Scala多线程爬虫程序的数据可视化与分析实践
Z_suger7的博客
12-18 1021
Scala是一种多种类型的编程语言，结合了针对对象编程和函数式编程的功能。它运行在Java虚拟机上，具有强大的运算能力和丰富的库支持。Scala常用于大数据处理、并发编程和Web应用程序开发。其灵活性和高效性编程成为编写多线程爬虫程序的理想选择。Scala还广泛评估金融领域的量化分析和交易系统开发，以及科学计算和人工智能领域的研究与实践中sender()!hrefs在这里，我们定义了一个名为WebCrawler的类，它接收一个URL作为参数，并使用Jsoup库来连接到指定的网页并获取其中的链接。
Scala学习实践：ScalaDemo的探索之旅
在【标签】中提到了"DEMO scalademo scala"，这表明该项目是一个Scala语言的学习示例，它不是为了生产环境设计的，而是为了教学目的，使学习者能够通过阅读代码、运行示例以及修改和测试代码来学习Scala。...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值