Scrapy爬取多级分页加代理+Requests爬取豆瓣新片top10并存储MongoDB

最新推荐文章于 2023-06-08 02:43:32 发布
最新推荐文章于 2023-06-08 02:43:32 发布
阅读量1k 收藏 9
点赞数 1
分类专栏： python 文章标签： python 爬虫 scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013600907/article/details/108361837
版权

 

爬取页面:https://movie.douban.com/chart

爬虫逻辑解析：

一级：获取豆瓣新片榜top10电影基本信息

        yield->二级

        二级：获取电影的描述信息

                   yield->三级

                   三级：获取电影的短评列表(拼接下一页的url+requests循环分页获取)

                               yield->四级

                              09/03更新：

                              四级:获取电影影评列表

                                       yield->四级影评详情 return

                                       yield->MongoDB

                                       todo:正在解决ip异常问题。。。

                                09/04更新：爬取免费ip池，使用代理ip爬取数据(使用了scrapy_proxies这个插件) 代码已经更新。

                               ->待优化，ip池应该另起服务单独持续运行，定时维护数据库中或文件中的可用ip。(ps:代码中使用的免费代理ip实用性不高。。这里只对这种方法做出演示，如需稳定高效代理ip，可自行付费购买-。-)

                                                

主代码: 

from lxml import etree
import requests
import telnetlib

import scrapy


class DoubanmovieSpider(scrapy.Spider):

    def __init__(self, **kwargs):
        super().__init__(**kwargs)
        self.initIp()


    # 爬虫id 唯一
    name = 'doubanmovie'
    # 允许采集的域名(所有采集的数据仅限在当前域名下)
    allowed_domains = ['movie.douban.com']
    # 开始采集的网站
    start_urls = ['https://movie.douban.com/chart/']
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'
    }

    # 解析响应的数据，可以理解为一个http请求的的response
    # 一级信息->电影简介
    def parse(self, response):
        # 整个div的数据
        divResultList = response.xpath("//div[@class='pl2']")
        for result in divResultList:
            data = {}
            name = result.xpath(".//a/text()").extract_first().replace('/', '').strip()
            aliasName = result.xpath(".//a/span/text()").extract_first()
            info = result.xpath(".//p/text()").extract_first()
            rank = result.xpath(".//span[@class='rating_nums']/text()").extract_first()
            rankPeople = result.xpath(".//span[@class='pl']/text()").extract_first()
            linkUrl = result.xpath(".//a/@href").extract_first()
            data['name'] = name
            data['aliasName'] = aliasName
            data['info'] = info
            data['rank'] = rank
            data['rankPeople'] = rankPeople
            data['linkUrl'] = linkUrl
            yield scrapy.Request(url=linkUrl, callback=self.movieDetail, meta={'data': data}, dont_filter=True)

    # 二级信息->电影详情
    def movieDetail(self, response):
        # 上级信息
        data = response.meta['data']
        movieDetail = {}
        # 电影剧情
        description = response.xpath("//div[@class='indent']/span/text()").extract_first().strip()
        movieDetail['description'] = description
        data['movieDetail'] = movieDetail
        # 短评列表后缀url
        suffixUrl = response.xpath("//div[@id='hot-comments']/a/@href").extract_first()
        longUrl = response.xpath("//section[@id='reviews-wrapper']/p/a/@href").extract_first()
        # 短评列表完整url
        shortReviewUrl = data['linkUrl'] + suffixUrl
        # 影评列表完整url
        longReviewUrl = data['linkUrl'] + longUrl
        data['longLinkUrl'] = longReviewUrl
        yield scrapy.Request(url=shortReviewUrl, callback=self.shortReview, meta={'data': data}, dont_filter=True)

    # 三级信息->短评列表
    def shortReview(self, response):
        data = response.meta['data']
        shortReviewBaseUrl = response.url
        print(shortReviewBaseUrl)
        limit = 20
        start = 20
        shortReviewList = []
        while True:
        # for i in range(1):
            url = shortReviewBaseUrl + "&start=" + str(start) + "&limit=" + str(limit)
            start = start + 20
            res = requests.get(url=url, headers=self.headers).content.decode('utf8')
            xpathHtml = etree.HTML(res)
            xpathList = xpathHtml.xpath("//div[@class='comment-item']")
            if len(xpathList) < 20:
                break
            for xpathResult in xpathList:
                result = {}
                # 评价人的姓名
                people = xpathResult.xpath(".//span[@class='comment-info']/a/text()")
                # 评级时间
                time = str(xpathResult.xpath(".//span[@class='comment-time ']/text()")[0]).replace("\\n", "").strip()
                # 评价内容
                content = xpathResult.xpath(".//span[@class='short']/text()")
                result['people'] = people
                result['time'] = time
                result['content'] = content
                shortReviewList.append(result)
            print("url========================================================" + url)
        data['shortReviewList1111'] = shortReviewList
        longLinkUrl = data['longLinkUrl']
        yield scrapy.Request(url=longLinkUrl, callback=self.longReview, meta={'data': data}, dont_filter=True)

    # 四级信息->影评列表
    def longReview(self, response):
        data = response.meta['data']
        longReviewUrl = response.url
        start = 20
        longReviewList = []
        while True:
        # for i in range(1):
            url = longReviewUrl + "?start=" + str(start)
            start = start + 20
            res = requests.get(url=url, headers=self.headers).content.decode('utf8')
            xpathHtml = etree.HTML(res)
            xpathList = xpathHtml.xpath("//div[@class='main review-item']")
            if len(xpathList) < 20:
                break
            for xpathResult in xpathList:
                result = {}
                # 评价人姓名
                name = xpathResult.xpath(".//header/a[@class='name']/text()")
                # 评级
                score = xpathResult.xpath(".//span[1]/@title")
                # 评价时间
                time = xpathResult.xpath(".//span[2]/text()")
                # 评价标题
                title = xpathResult.xpath(".//div[@class='main-bd']/h2/a/text()")
                # 评价详情链接
                linkUrl = str(xpathResult.xpath(".//div[@class='main-bd']/h2/a/@href")[0])
                # 评价详情
                content = self.longReviewContentDetail(linkUrl)
                result['name'] = name
                result['score'] = score
                result['time'] = time
                result['title'] = title
                result['linkUrl'] = linkUrl
                result['content'] = content
                longReviewList.append(result)
                pass
        data['longReviewList'] = longReviewList
        yield data

    # 影评详情内容
    def longReviewContentDetail(self, url):
        detail = {}
        headers = {
            'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'
        }
        res = requests.get(url=url, headers=headers).content.decode('utf8')
        xpathHtml = etree.HTML(res)
        xpathList = xpathHtml.xpath("//div[@id='link-report']")
        detail['content'] = str(xpathList[0].xpath(".//p/text()"))
        detail['contentImageUrl'] = xpathList[0].xpath(".//div[@class='image-wrapper']//img/@src")
        return detail

    # 初始化ip池
    def initIp(self):
        print("初始IP池...")
        headers = {
            'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'
        }
        tempIpList = []
        for i in range(30):
            res = requests.get(url='http://www.66ip.cn/areaindex_' + str(i) + '/1.html',
                               headers=headers).content.decode(
                'gbk')
            xpathHtml = etree.HTML(res)
            xpathList = xpathHtml.xpath("//div[@class='containerbox boxindex']//table//tr")
            for j in range(len(xpathList)):
                if j < 2:
                    continue
                tempIp = "//div[@class='containerbox boxindex']//table//tr[" + str(j) + "]//td[1]/text()"
                tempHost = "//div[@class='containerbox boxindex']//table//tr[" + str(j) + "]//td[2]/text()"
                ip = xpathList[j].xpath(tempIp)
                host = xpathList[j].xpath(tempHost)
                # ipHost = "http:"+ip[0]+":"+host[0]
                ipHost = {'ip': ip, 'host': host}
                tempIpList.append(ipHost)
        # 校验ip是否可用并存入txt文件
        print(tempIpList)
        ipList = []
        for ipHost in tempIpList:
            try:
                telnetlib.Telnet(str(ipHost['ip'][0]), port=str(ipHost['host'][0]), timeout=1)
            except:
                print(str(ipHost['ip'][0]) + ":" + str(ipHost['host'][0]) + "此地址不可用了-.-")
            else:
                print("http://" + str(ipHost['ip'][0]) + ":" + str(ipHost['host'][0]) + "此地址可用 ^-^.")
                ipList.append("http://" + str(ipHost['ip'][0]) + ":" + str(ipHost['host'][0]))
        with open('ip.txt', 'w', encoding='utf-8') as file_write:
            for ip in ipList:
                file_write.write(ip + "\n")
        print("初始化IP池成功,共有" + str(len(ipList)) + "条IP可用~")

随机切换UserAgent中间件的代码：

from fake_useragent import UserAgent


# 随机切换UserAgent中间件
class UserAgentMiddleware(object):

    def __init__(self, crawler):
        super(UserAgentMiddleware, self).__init__()
        self.ua = UserAgent(verify_ssl=False)
        self.ua_type = crawler.settings.get("RANDOM_UA_TYPE", "random")

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler)

    def process_request(self, request, spider):

        def get_user_agent():
            return getattr(self.ua, self.ua_type)
        request.headers.setdefault('User-Agent', get_user_agent())

 

要使用代理的settings文件配置:

DOWNLOADER_MIDDLEWARES = {
   # 'moviedoubanSpider.middlewares.MoviedoubanspiderDownloaderMiddleware': 543,
    'moviedoubanSpider.UserAgentMiddleware.UserAgentMiddleware': 543,
    'scrapy_proxies.RandomProxy': 100,
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
}

 

数据: 

ps:为什么不直接使用scpapy而也使用了requests？

因为我在爬取第三层分页数据的时候，两个yield发生的异步直接影响了数据的存储。。。目前还不知道怎么解决中-。- 只好在第三层不yield而直接在循环内调用requests完成爬取。。。

两个yield版本如下:欢迎各位大佬指点。。。


import scrapy


class DoubanmovieSpider(scrapy.Spider):
    # 爬虫id 唯一
    name = 'doubanmovie'
    # 允许采集的域名(所有采集的数据仅限在当前域名下)
    allowed_domains = ['movie.douban.com']
    # 开始采集的网站
    start_urls = ['https://movie.douban.com/chart/']

    # 解析响应的数据，可以理解为一个http请求的的response
    # 一级信息->电影简介
    def parse(self, response):
        # 整个div的数据
        divResultList = response.xpath("//div[@class='pl2']")
        i = 1
        for result in divResultList:
            data = {}
            name = result.xpath(".//a/text()").extract_first().replace('/', '').strip()
            aliasName = result.xpath(".//a/span/text()").extract_first()
            info = result.xpath(".//p/text()").extract_first()
            rank = result.xpath(".//span[@class='rating_nums']/text()").extract_first()
            rankPeople = result.xpath(".//span[@class='pl']/text()").extract_first()
            linkUrl = result.xpath(".//a/@href").extract_first()
            # print("电影名称:" + name)
            # print("电影别名:" + aliasName)
            # print("电影简介:" + info)
            # print("电影评分:" + rank)
            # print("评分人数:" + rankPeople)
            # print("链接:" + linkUrl)
            # print("\n")
            i = i + 1
            data['name'] = name
            data['aliasName'] = aliasName
            data['info'] = info
            data['rank'] = rank
            data['rankPeople'] = rankPeople
            data['linkUrl'] = linkUrl
            yield scrapy.Request(url=linkUrl, callback=self.movieDetail, meta={'data': data})

    # 二级信息->电影详情
    def movieDetail(self, response):
        # 上级信息
        data = response.meta['data']
        movieDetail = {}
        # 电影剧情
        description = response.xpath("//div[@class='indent']/span/text()").extract_first().strip()
        movieDetail['description'] = description
        data['movieDetail'] = movieDetail
        # 短评列表后缀url
        suffixUrl = response.xpath("//div[@id='hot-comments']/a/@href").extract_first()
        # 短评列表完整url
        shortReviewUrl = data['linkUrl'] + suffixUrl
        yield scrapy.Request(url=shortReviewUrl, callback=self.shortReviewFor, meta={'data': data})

    # 循环三级评论信息url 交给处理三级信息
    def shortReviewFor(self, response):
        data = response.meta['data']
        print(data['name'])
        shortReviewBaseUrl = response.url
        limit = 20
        for i in range(20):
            print(i)
            url = shortReviewBaseUrl + "&start=" + str(self.start) + "&limit=" + str(limit)
            print("url========================================================"+url)
            self.start = self.start + 20
            yield scrapy.Request(url=url, callback=self.shortReviewList)
        data['shortReviewList1111'] = self.tempList
        print(data)
        self.tempList = []
        self.start = 20

    # 临时存放的评论列表
    tempList = []
    start = 20

    # 三级信息->短评列表
    def shortReviewList(self, response):
        # 评价列表
        evaluateList = response.xpath("//div[@class='comment-item']")
        shortReviewList = []
        for evaluate in evaluateList:
            shortReviewMap = {}
            # 评价人的姓名
            people = evaluate.xpath(".//span[@class='comment-info']/a/text()").extract_first()
            # 评级时间
            time = str(evaluate.xpath(".//span[@class='comment-time ']/text()").extract_first()).replace("\n",
                                                                                                         "").strip()
            # 评价内容
            content = evaluate.xpath(".//span[@class='short']/text()").extract()
            shortReviewMap['people'] = people
            shortReviewMap['time'] = time
            shortReviewMap['content'] = content
            shortReviewList.append(shortReviewMap)
        self.tempList += shortReviewList
        pass

爬出来的数据是这样的。。。。 

完整项目地址:github:https://github.com/chuanzige/douban_newMovie_top10

                      gitee:https://gitee.com/QingJiaoWoChuanZiGe/douban_newMovie_top10 

id-whc
关注
专栏目录
requests 分类多级页面_Scrapy爬取多级加分页+Requests爬取豆瓣新片top10并存储MongoDB...
weixin_36244678的博客
01-13 170
Scrapy爬取多级加分页+Requests爬取豆瓣新片top10并存储MongoDBScrapy爬取多级加分页+Requests爬取豆瓣新片top10并存储MongoDB爬取页面:https://movie.douban.com/chart爬虫逻辑解析：一级：获取豆瓣新片榜top10电影基本信息yield->二级二级：获取电影的描述信息yield->三级三级：获取电影的短评列表(拼接...
利用Python爬取豆瓣电影
盛国强的博客
01-30 2882
原文地址：https://www.cnblogs.com/fangtaoa/p/8366528.html 目标:使用Python爬取豆瓣电影并保存MongoDB数据库中 我们先来看一下通过浏览器的方式来筛选某些特定的电影: 我们把URL来复制出来分析分析: https://movie.douban.com/tag/#/?sort=T&amp;range=0,10&amp;tags=%E7%...
爬虫（实战）：scrapy+mysql 豆瓣电影top250
Phillip_xian的博客
07-04 1411
作者学习了scrapy爬虫框架，想把获取的爬虫信息保存至本地mysql数据库中，查找了下不少作者的资料，这里整理了本人的学习经过，记录+分享在这里，望读者交流学习和批评建议。
Python_scrapy项目之豆瓣电影排行榜（源码在最下方~）
weixin_49173189的博客
06-08 584
python+scrapy+bootstrap
python scrapy框架爬取豆瓣top250电影篇一代理编写
ichglauben的博客
09-09 539
爬虫伪装: UA中间件编写 settings设置 from scrapy import signals import base64 import random class my_useragent(object): def process_request(self,request,spider): USER_AGENT_LIST = [ ...
TOP250豆瓣电影短评：Scrapy 爬虫+数据清理/分析+构建中文文本情感分析模型
07-08
一、爬取豆瓣Top250的短评数据 movie_item movie_comment movie_people 二、数据清理与特征工程+统计分析 movie_item 总评分最高的前10部电影 最受欢迎的电影类别排名 最受欢迎的电影出品国家排名 最受欢迎的电影...
Scrapy爬取数据，并使用Django框架+PyEcharts实现可视化大屏
最新发布
06-09
Scrapy爬取去哪儿网，并使用Django框架+PyEcharts实现可视化大屏。 Scrapy爬取去哪儿网，并使用Django框架+PyEcharts实现可视化大屏。 Scrapy爬取去哪儿网，并使用Django框架+PyEcharts实现可视化大屏。 Scrapy爬取...
Scrapy爬取多级网页内容源代码加实现.txt
07-18
多级网页结构爬取99健康网的信息，用了多种网页反爬取，获取疾病信息。
基于scrapy爬取豆瓣top250
10-12
在这个"基于scrapy爬取豆瓣top250"的项目中，我们主要关注的是如何利用Scrapy来获取豆瓣电影Top250列表中的关键信息，包括电影的页数、电影名称、导演名字、主演名字以及评分。 首先，我们需要了解Scrapy的基本架构...
Scrapy爬取新浪微博用户信息、用户微博及其微博评论转发
05-27
在本项目中，我们利用Scrapy来爬取新浪微博的用户信息、用户的微博内容以及这些微博的评论和转发，这涉及到网络爬虫的基本原理、Scrapy组件的使用、网页解析以及数据存储等多个知识点。 首先，了解网络爬虫的基本...
requests发送GET请求案例—爬取豆瓣电影分类排行榜中的电影详情数据
内心不种满鲜花就会长满杂草
09-27 3480
进入到如下界面，当我们鼠标往下滑的时候，页面会自动进行刷新，可以知道是发送的ajax请求 捕获agax请求如下，发送的是GET请求，地址为 https://movie.douban.com/j/chart/top_list?type=24&interval_id=100%3A90&action=&start=20&limit=20 请求携带的参数如下，start代表从电影的第几部开始获取，limit代表每次获取的电影数量 且返回的数据类型为json ..
【Python_urllib学习笔记（四）】基于urllib和re，爬取豆瓣电影新片榜
禾戊之昂的博客
02-09 2771
此篇文章中介绍如何使用urllib库和re模块，爬取豆瓣电影新片榜。
scrapy实现二级页面爬取（以小说为例）
GGBond的博客
07-23 4211
1.scrapy图解 2.创建项目 scrapy startproject 项目名 创建后的目录 3.编写字段 在items.py中编写需要的字段，这里就写小说的章节和内容 class XiaoshuoItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() ...
scrapy实践之翻页爬取
庐州月光的博客
11-06 2659
欢迎关注”生信修炼手册”!在scrapy框架中，spider具有以下几个功能1. 定义初始爬取的url2. 定义爬取的行为，是否跟进链接3. 从网页中提取结构化数据所谓的跟进链接，其实就...
Scrapy（二）翻页功能
qq_51179608的博客
06-28 2597
Scrapy常用的几种翻页方式
讲讲Scrapy翻页的那些事
King 学吧|King Blog
09-26 1044
Scrapy翻页的那些事 常见的两种是通过分析每页URL或者是请求体发现规律写通用URL跟查找当前页面中下一页面的URL实现翻页！ 一、通过当前页面获取下一页URL 适用于有【下一页】按钮的网站，且能获取到【下一页】URL的。 而往往我们获取的下一页URL并不是完整的，那该怎么去补全URL？ 以下介绍了三种方法 拼接法、补全法、自动识别。 【注】part_next_url：是通过xpath获取的部分下一页 url ； self.start_urls[0]：是我们第一次启动爬虫请求的reques
爬虫-Scrapy（三） 翻页的实现
XiaoDao147258369的博客
03-06 3077
1. 翻页的实现 上一篇实现了单页的爬取，再加3行代码就可以实现翻页了。 基本思路是查找页面中‘下一页’按钮对应的href地址，然后回调parse方法实现循环，直至找不到’下一页’的链接为止。 QiubaiSpider.py import scrapy import re from scpy1.items import Scpy1Item class Qiubai1Spider(scrapy.Spider): name = 'qiubai1' allowed_domains = ['qiu
在万维网爬虫中进行翻页爬取的三种常用方案
qq_55303268的博客
05-20 4330
首先先定义scrapy中的请求方法，然后创建列表对象，再遍历列表对象，用scrapy中的Request方法(形参url为实参url)对遍历后的临时变量发起请求，yield返回Response对象，所以start_requests方法的返回值是Response，主要代码如下。，在这个URL中，limit参数表示每个页面展示的书籍数量，而offset表示此资源目录里是从第几本书开始展示，所以第二页的URL是offset=10，而不是offset=2，那么也就不能简单粗暴的用上一个案例的方法进行请求了。
scrapy 爬取数据时翻页专栏
huangmengfeng的博客
04-20 2180
1.分析url，是否能够找到翻页的规律2.获取该页面下一页的url，进行访问
使用Scrapy爬虫项目爬取豆瓣小组图片并保存至MongoDB
本项目的核心内容是利用Python开发的一个网络爬虫，目标是爬取豆瓣小组内的图片资源，并将获取的信息保存至MongoDB数据库中，同时将图片下载到本地存储。 知识点一：Python编程语言 Python是一种解释型、面向对象、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值