pyspider 框架的基本使用

Yy_Rose

已于 2022-03-19 17:01:23 修改

阅读量6k

点赞数 5

分类专栏： python 爬虫文章标签： python 服务器网络

于 2022-03-19 16:59:37 首次发布

本文链接：https://blog.csdn.net/Yy_Rose/article/details/123457968

版权

python 爬虫专栏收录该内容

15 篇文章 7 订阅

订阅专栏

前言

pyspider 是由国人 binux 编写的强大的网络爬虫系统，pyspider 带有强大的 WebUI、脚本编辑器、任务监控器、项目管理器以及结果处理器，它支持多种数据库后端、多种消息队列、JavaScript 渲染页面的爬取，使用起来很方便。

pyspider 安装问题：pyspider 常见启动问题解决汇总【detailed】

pyspider github 地址：GitHub - binux/pyspider

pyspider 官方文档：Introduction - pyspider

pyspider 功能：

提供方便易用的 WebUI 系统，可以可视化地编写和调试爬虫
提供爬取进度监控、爬取结果查看、爬虫项目管理等功能
支持多种后端数据库，如 MySQL、MongoDB、Redis、SQLite、Elasticsearch、PostgreSQL
支持多种消息队列，如 RabbitMQ、Beanstalk、Redis、Kombu
提供优先级控制、失败重试、定时抓取等功能
对接了 PhantomJS，可以抓取 JavaScript 渲染的页面
支持单机和分布式部署，支持 Docker 部署

pyspider 的使用

1. 创建项目

输入 localhost：5000 成功进入 pyspider WebUI 界面后，点击蓝色 create 按钮即可创建项目：

创建完成后，状态如下：

2. 进入项目

点击项目名称，即可进入项目：

以下为进入项目后的初始调试页面代码：

from pyspider.libs.base_handler import *


class Handler(BaseHandler):
    crawl_config = {
    }

    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl('https://travel.qunar.com/travelbook/list.htm', callback=self.index_page)

    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        for each in response.doc('a[href^="http"]').items():
            self.crawl(each.attr.href, callback=self.detail_page)

    @config(priority=2)
    def detail_page(self, response):
        return {
            "url": response.url,
            "title": response.doc('title').text(),
        }

3. 编辑项目

web 显示页面大小设置可参考：pyspider显示web太小，未设置之前 web 页面可能会很小

爬取下一页 index_page( ) 函数体中添加以下代码即可：

next = response.doc('.next').attr.href
self.crawl(next, callback=self.index_page)

运行结果切换到 Web 页面预览效果，页面下拉之后，头图正文中的一些图片一直显示加载中：

原因：pyspider 默认发送 HTTP 请求，请求的 HTML 文档本身就不包含 img 节点，但是在浏览器中我们看到了图片，这是因为这张图片是后期经过 JavaScript 出现的

解决方法：craw_config{ } 中可以添加一些头文件信息，例如代理 ip、浏览器 User-Agent、爬取设置等等，在其中添加 "fetch_type": 'js' 即可，该行代码也可以添加到如下位置：

def index_page(self, response):
    for each in response.doc('li> .tit > a').items():
        self.crawl(each.attr.href, callback=self.detail_page, fetch_type='js')
    next = response.doc('.next').attr.href
    self.crawl(next, callback=self.index_page)

图片成功显示：

将详情页中需要的信息提取出来则将 detail_page( ) 下的代码改写为对应的元素标签节点定位即可，以下以日期节点为例（F12 即可进入开发者工具）：

'date': response.doc('.when .data').text()  # .text() 获取文本信息

这里我们获取的是页面的链接、标题、出行日期、出行天数、人物、攻略正文、头图信息：

@config(priority=2)
    def detail_page(self, response):
        return {
            'url': response.url,
            'title': response.doc('#booktitle').text(),
            'date': response.doc('.when .data').text(),
            'day': response.doc('.howlong .data').text(),
            'who': response.doc('.who .data').text(),
            'text': response.doc('#b_panel_schedule').text(),
            'image': response.doc('.cover_img').attr.src
        }

成功获取相关信息：

4. 查看爬取内容

再次进入链接 localhost：5000，将 status 改为 DEBUG 或 RUNNING，点击 run，即运行项目：

点击 Results 即可查看爬取内容：

点击右上角的按钮，即可获取数据的 JSON、CSV 格式：

点击 Active Tasks 即可查看最近请求的详细状况：

调试页面完整代码

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2017-06-08 00:45:57
# Project: qunar

from pyspider.libs.base_handler import *


class Handler(BaseHandler):
    crawl_config = {
        "user_agent": "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36",
        "timeout": 120,
        "connect_timeout": 60,
        "retries": 5,
        "fetch_type":'js',
        "auto_recrawl": True,
    }
    
    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl('http://travel.qunar.com/travelbook/list.htm', callback=self.index_page)
    
    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        for each in response.doc('li > .tit > a').items():
            self.crawl(each.attr.href, callback=self.detail_page)
        next = response.doc('.next').attr.href
        self.crawl(next, callback=self.index_page)
    
    @config(priority=2)
    def detail_page(self, response):
        return {
            'url': response.url,
            'title': response.doc('#booktitle').text(),
            'date': response.doc('.when .data').text(),
            'day': response.doc('.howlong .data').text(),
            'who': response.doc('.who .data').text(),
            'text': response.doc('#b_panel_schedule').text(),
            'image': response.doc('.cover_img').attr.src
        }

总结

以上为 pyspider 的基本使用方法，感谢您的观看，欢迎评论区留言指正交流~

参考资料：[Python3网络爬虫开发实战] 静觅

Yy_Rose

关注

5
点赞
踩
34

收藏

觉得还不错? 一键收藏
0
评论
pyspider 框架的基本使用

pyspider 是由国人 binux 编写的强大的网络爬虫系统，pyspider 带有强大的 WebUI、脚本编辑器、任务监控器、项目管理器以及结果处理器，它支持多种数据库后端、多种消息队列、JavaScript 渲染页面的爬取，使用起来很方便。
复制链接

扫一扫