逆向爬虫20 Scrapy-Splash入门

已于 2022-02-08 23:59:18 修改
阅读量2.6k 收藏 22
点赞数 3
分类专栏： 爬虫学习 文章标签： 爬虫 python linux
于 2022-02-08 23:57:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40743639/article/details/122833394
版权

逆向爬虫20 Scrapy-Splash入门

一. Splash

在学习Splash之前，先要明白为什么要学它，它能帮我们完成什么工作，什么情况下适合使用Splash？

splash是一个可以动态渲染js的工具. 有助于我们完成复杂的js内容加载工作. 你可以理解为另一个没有界面的selenium。

由于Selenium经常被用于爬虫，越来越多的网站开始针对Selenium做反爬技术，因此Splash算是Selenium的一个替代品，但它又不能完全替代Selenium，Splash无法处理登录验证，人机校验等反爬手段。

Splash的速度比Selenium还慢，它的访问过程有点类似与代理IP，如果还要加上代理IP的话，就更慢了。

那为什么还要学Splash呢，一是它可以作为Selenium的备用方案，二是Splash可以将浏览器抓包的全过程输出为字典，这是Selenium做不到的，拿到抓包全过程，可以方便我们后续优化爬虫性能。

1.1 splash安装

splash的安装过程十分复杂. 复杂到官方都不推荐你去手动安装它.

官方建议. 用docker去安装splash. 所以. 你需要先去安装docker. 但是docker这玩意在windows上支持非常不好. 各种各样的问题. 外加上后期我们要把爬虫部署到linux. 那干脆. 我们就安装一个linux. 在linux上搞docker是非常easy的.

有能力, 不怕苦的同学可以在windows上搞一个docker试试. 我这里就不带你们找坑踩了. 直接上Linux.

1.1.1安装VM

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.1.2 安装Linux

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

安装好的linux后,我们需要学会使用linux的一个工具. 叫yum, 我们需要用它来帮我们完成各种软件的安装. 十分的方便. 我们先用ifconfig来做一个测试.

yum search ifconfig   // 搜索出ifconfig的包
yum install net-tools.x86_64  // 安装该软件, 安装过程中会出现很多个询问. 直接y即可

发现了吧, 在linux这个破黑窗口里. 属实难受+憋屈. 所以, 我们这里选择用ssh远程连接linux.

mac版本: 打开终端. 输入

ssh root@服务器ip地址
输入密码

就可以顺利的链接到你的linux服务器. 接下来. 我们可以使用各种命令来操纵linux了.

Windows:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.1.3 安装docker

​ 安装docker就一条例命令就好了

[root@sylar-centos-2 ~]# yum install docker

​ 配置docker的源，这里要使用国内的源，否则会慢死

[root@sylar-centos-2 ~]# vi /etc/docker/daemon.json
# 写入一下内容, 注意.先按'i', 更换为输入模式. 然后再填写内容
{
	"registry-mirrors": ["https://9cpn8tt6.mirror.aliyuncs.com"]
}
# 保存: 先按esc. 退出输入模式, 然后输入":wq" 表示写入, 退出. 就完事儿了

[root@sylar-centos-2 ~]# systemctl start docker    # 启动docker

[root@sylar-centos-2 ~]# docker ps      # 查看docker运行状态

如需关闭或者重新启动docker:

systemctl stop docker   # 停止docker服务
systemctl restart docker  # 重启docker服务

Vm -> cenos -> ssh -> docker -> splash

1.1.4 安装splash

  1. 拉取splash镜像

    docker pull scrapinghub/splash

    splash比较大. 大概2个G左右. 有点儿耐心等会儿就好了

  2. 运行splash

    docker run -p 8050:8050 scrapinghub/splash

  3. 打开浏览器访问splash

    http://192.168.31.82:8050/
    在这里插入图片描述

1.2 splash简单使用

​ 我们可以在文本框内输入百度的网址. 然后点击render. 可以看到splash会对我们的网页进行动态的加载. 并返回截图. 运行状况. 以及页面代码(经过js渲染后的)
在这里插入图片描述
在这里插入图片描述

快速解释一下, script中的脚本. 这里面用的是lua的脚本语法. 所以看起来会有些难受.

function main(splash, args)  -- 主函数
  assert(splash:go(args.url))  -- 进入xxx页面
  assert(splash:wait(0.5))   -- 等待0.5秒
  return {  -- 返回
    html = splash:html(),  -- splash:html() 页面源代码
    png = splash:png(),   -- splash:png() 页面截图
    har = splash:har(),   -- splash:har() 页面加载过程
  }
end   -- 函数结束

有必要说明一下. 在lua中, .表示的是属性(变量), :表示的是方法(函数)的调用.

常见操作符都一样. 剩下的. 我们到案例里看.

1.3 splash的http-api接口

splash提供了对外的http-api接口. 我们可以像访问一个普通url一样访问splash. 并由splash帮助我们渲染好页面内容.

http://192.168.31.82:8050/render.html?url=http://www.baidu.com

虽然看不出任何差别. 但是你心里要清楚一个事情. 此时拿到的直接是经过js渲染后的html

我们换个url你就知道了

http://192.168.31.82:8050/render.html?url=https://www.endata.com.cn/BoxOffice/BO/Year/index.html&wait=5

endata这个网站. 它的数据是后期经过ajax请求二次加载进来的. 我们通过splash可以等待它后期加载完再拿html.

综上, splash的工作机制:

在这里插入图片描述

整个一个代理服务器的逻辑. ~~~~

二. python中使用splash

"""
    # splash提供的api接口
    渲染html的接口
    http://192.168.63.128:8050/render.html?url=你的url&wait=等待时间&time_out=超时时间

    截图的接口
    http://192.168.63.128:8050/render.png  参数和render.html基本一致, 可选width, height

    加载过程接口
    http://192.168.63.128:8050/render.har  参数和render.html基本一致

    json接口
    http://192.168.63.128:8050/render.json  参数和render.html基本一致

    执行lua脚本的接口
    http://192.168.31.184:8050/execute?lua_source=你要执行的lua脚本
"""

2.1 调用render接口

很简单，发送一个requests.get请求，把get的参数放进params中

import requests

resp = requests.get(
    url='http://192.168.63.128:8050/render.html',
    params={
        "url":'https://www.endata.com.cn/BoxOffice/BO/Year/index.html',
        "wait": 5
    }
)
with open("log.html", mode="w", encoding="utf-8") as f:
    f.write(resp.text)

2.2 调用execute接口

调用execute接口就可以执行相对比较复杂的浏览器操作了，这里用 https://news.163.com/ 来说明怎么模拟浏览器操作，利用splash来抓取ajax动态加载来的数据。

下图是网易新闻主页拉到最下面的样子，有一个 “加载更多” 按钮。

在这里插入图片描述

点击该按钮后，URL没有改变，但显示了更多的新闻，这就是ajax动态加载来的数据。

在这里插入图片描述

再点击一次 “加载更多” 按钮，拉到最下面发现展示完了。
在这里插入图片描述

要用execute接口实现这个功能，就必须编写Lua脚本和Javascript脚本，这里的代码本身的功能并不复杂，但是设计到多门语言混合编程，因此比较唬人。
在这里插入图片描述

import requests
from lxml import etree

lua_source = """
function main(splash, args)
  assert(splash:go("https://news.163.com/"))
  assert(splash:wait(2))
  -- 准备一个js函数. 预加载
  -- jsfunc是splash预留的专门为了js代码和lua代码结合准备的
  get_btn_display = splash:jsfunc([[
        function(){
            return document.getElementsByClassName('load_more_btn')[0].style.display;
        }
    ]])
  
  while(true)
  do
    splash:runjs("document.getElementsByClassName('load_more_btn')[0].scrollIntoView(true)")
    splash:select(".load_more_btn").click()
    splash:wait(1)
    -- 判断load_more_btn是否是none.
    display = get_btn_display()
    if(display == 'none')
      then
        break
      end
  end
  
  return splash:html()  -- 直接返回页面源代码
end
"""

resp = requests.get(
    url='http://192.168.63.128:8050/execute',
    params={
        "lua_source": lua_source
    }
)
with open("log2.html", mode="w", encoding="utf-8") as f:
    f.write(resp.text)

tree = etree.HTML(resp.text)
divs = tree.xpath('/html/body/div[1]/div[3]/div[2]/div[3]/div[2]/div[5]/div/ul/li[1]/div[2]/div')
for div in divs:
    a = div.xpath('./div/div/h3/a')
    if not a:  # 过滤掉广告
        continue
    a = a[0]
    print(a.xpath("./@href")[0])
    print(a.xpath("./text()")[0])

三. Scrapy_splash模块

实现和2.2一样的功能

开始动手

scrapy startproject news
cd news
scrapy genspider wangyi 163.com
wangyi.py文件

在这里插入图片描述

settings.py文件

在这里插入图片描述

wangyi.py源码
import scrapy
from scrapy_splash.request import SplashRequest

lua_source = """
function main(splash, args)
  assert(splash:go(args.url))
  assert(splash:wait(2))
  -- 准备一个js函数. 预加载
  -- jsfunc是splash预留的专门为了js代码和lua代码结合准备的
  get_btn_display = splash:jsfunc([[
    	function(){
    		return document.getElementsByClassName('load_more_btn')[0].style.display;
  		}
    ]])

  while(true)
  do
    splash:runjs("document.getElementsByClassName('load_more_btn')[0].scrollIntoView(true)")
    splash:select(".load_more_btn").click()
    splash:wait(1)
    -- 判断load_more_btn是否是none.
    display = get_btn_display()
    if(display == 'none')
      then
        break
      end
  end

  return splash:html()  -- 直接返回页面源代码
end
"""

class WangyiSpider(scrapy.Spider):
    name = 'wangyi'
    allowed_domains = ['163.com']
    start_urls = ['http://news.163.com/']
    # 重写start_requests
    def start_requests(self):
        yield SplashRequest(
            url=self.start_urls[0],
            callback=self.parse,
            endpoint='execute',     # 终端表示你要执行哪一个splash的服务
            args={
                "lua_source": lua_source
            }
        )

    def parse(self, resp):
        divs = resp.xpath('/html/body/div[1]/div[3]/div[2]/div[3]/div[2]/div[5]/div/ul/li[1]/div[2]/div')
        for div in divs:
            a = div.xpath('./div/div/h3/a')
            if not a:  # 过滤掉广告
                continue
            a = a[0]
            print(a.xpath("./@href").extract_first())
            print(a.xpath("./text()").extract_first())
settings.py源码
BOT_NAME = 'news'

SPIDER_MODULES = ['news.spiders']
NEWSPIDER_MODULE = 'news.spiders'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False
LOG_LEVEL = "WARNING"

# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'

# scrapy_splash
# 渲染服务的url, 这里换成你自己的
SPLASH_URL = 'http://192.168.63.128:8050'
# 下载器中间件, 这个必须要配置
DOWNLOADER_MIDDLEWARES = {
    'scrapy_splash.SplashCookiesMiddleware': 723,
    'scrapy_splash.SplashMiddleware': 725,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
}

# 这个可由可无
# SPIDER_MIDDLEWARES = {
#     'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
# }
# 去重过滤器, 这个必须要配置
DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
# 使用Splash的Http缓存, 这个必须要配置
HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'
一个小黑酱
关注
  • 3
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
废文xxx
仲君Johnny的博客
02-17 1583
xxxxxx
scrapy-splash的使用学习
dandanfengyun的博客
02-08 810
scrapy-splash是为了解决 scrapy不能够解析JavaScript加载的网页这一问题而存在的。 splash作为js渲染服务，是基于Twisted和QT开发的轻量浏览器引擎。 scrapy-splash模块主要使用了Splash。 也就是说，splash作为一个中间代理将结果返回。 splash官方文档https://splash.readthedocs.io/en/stable/ ...
[294]爬虫之scrapy-splash
周小董
07-10 8899
什么是splash Splash是一个Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器，Splash是用Python实现的，同时使用Twisted和QT。Twisted（QT）用来让服务具有异步处理能力，以发挥webkit的并发能力。 目前，为了加速页面的加载速度，页面的很多部分都是用JS生成的，而对于用scrapy爬虫来说就是一个很大的问题，因为scrapy...
Python反爬虫的四种常见方式-JS逆向方法论_python爬虫逆向(1)
m0_54853787的博客
04-29 664
首先把Chrome浏览器保存的该网站的cookie删除，按F12到Network窗口，把“preserve log”选中（Firefox是“Persist logs”），刷新网页，这样我们就可以看到历史的Network请求记录。其实它就是JS生成的。我们要写爬虫抓某个网页里面的数据，无非是打开网页，看看源代码，如果html里面有我们要的数据，那就简单了。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
python爬虫Scrapy框架笔记分享12-Splash 的使用
qichangjian的博客
01-26 857
1. Splash介绍 Splash是一个JavaScript渲染服务，是一个带有HTTP API的轻量级浏览器，同时它对接了Python中的Twisted和QT库。利用它，我们同样可以实现动态渲染页面的抓取 2. 安装 2.1 安装docker 2.2 拉取镜像 docker pull scrapinghub/splash 2.3 用docker运行scrapinghub/splash d...
Python3爬虫中Splash的知识总结
菜鸟教程
12-10 2749
更多编程教程请到：菜鸟教程 https://www.piaodoo.com/ 友情链接： 高州阳光论坛https://www.hnthzk.com/ 人人影视http://www.op-kg.com/ Splash是一个JavaScript渲染服务，是一个带有HTTP API的轻量级浏览器，同时它对接了Python中的Twisted和QT库。利用它，我们同样可以实现动态渲染页面的抓取。 1. 功能介绍 ·利用Splash，我们可以实现如下功能： ·异步方式处理多个网页渲染过程； ·获取渲染后的页
python爬虫案例scrapy-demos.zip
最新发布
05-30
2. 创建爬虫：进入到项目所在的路径，执行命令：`scrapy genspider [爬虫名字] [爬虫的域名]`。注意，爬虫名字不能和项目名称一致。 ## 项目目录结构： 1. items.py：用来存放爬虫爬取下来数据的模型。 2. ...
scrapy-splash：用于JavaScript集成的Scrapy + Splash
02-04
scrapy-splash：用于JavaScript集成的Scrapy + Splash
Python爬虫-scrapy-城市二手房数据爬取与保存
01-09
基于scrapy编写的爬虫，能够爬取城市二手房的各种信息，比如房价、面积、所处位置等十分方便易用，并采用Beautifulsoup进行页面解析无视反爬机制
python爬虫-scrapy-Mongo
09-02
python爬虫基础学习，从基础学习，涉及到scrapy，Mongo，scrapy_redis等相关的基础知识
Python基于Scrapy-Redis分布式爬虫设计毕业源码案例设计完整
10-08
程序采用 python 开发的 Scrapy 框架来开发，使用 Xpath 技术对下载的网页进行提取解析，运用 Redis 数据库做分布式， 设计并实现了针对当当图书网的分布式爬虫程序，scrapy-redis是一个基于redis的scrapy组件，...
python3学习之Splash的安装与实例教程
09-20
splash 是一个python语言编写的用于配合scrapy解析js的库，下面这篇文章主要给大家介绍了关于python3学习之Splash的安装与使用的一些相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考下
Python爬虫之scrapy_splash组件的使用
不一样的花朵的博客
09-26 1772
scrapy_splash组件的使用 学习目标 了解 scrapy_splash组件的作用 了解 scrapy_splash组件的使用 1. 什么是scrapy_splash？ scrapy_splash是scrapy的一个组件 scrapy-splash加载js数据是基于Splash来实现的。 Splash是一个Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器，Splash是用Python和Lua语言实现的，基于Twisted和QT等模块构建。 使用scrapy-spla
【爬虫进阶-JS自动渲染】Scrapy_splash组件的使用
风口IT猪的成长录
08-27 893
Scrapy_splash组件的使用1. 什么是scrapy_splash？2. scrapy_splash的作用3. scrapy_splash的环境安装3.1 使用splash的docker镜像3.1.1 安装并启动docker服务3.1.2 获取splash的镜像3.1.3 验证是否安装成功3.1.4 解决获取镜像超时:修改docker的镜像源3.1.5 关闭splash服务3.2 在python虚拟环境中安装scrapy-splash包4. 在scrapy中使用splash4.1 创建项目创建爬虫4
基于splash的爬虫_02
m0_60255954的博客
12-10 560
splash可以通过Lua脚本执行一系列渲染操作，这条可以使用splash模拟浏览器的操作。
西山小菜鸟之Scrapy学习笔记---splash简介
依然关注
11-14 682
前言         本文主要介绍scrapy-splash的理论知识。文中如有不正确的地方望大家指正。 本文的主要内容出自书：《精通Scrapy网络爬虫》《虫术——Python绝技》 背景         近几年随着前端技术和手机端App的飞速发展，互联网架构也发生了巨大的变化，尤其是一些前端框架的大面积应用，过去基于纯后端的Web结构已经明显过时了。越来越多的网站采用前后端分离的架构。    ...
Scrapy 对接 Splash
liukuan73的专栏
11-09 3157
https://www.qcloud.com/community/article/622772 在上一节我们实现了Scrapy对接Selenium抓取淘宝商品的过程，这是一种抓取JavaScript渲染页面的方式，除了使用Selenium还有Splash同样可以达到同样的功能，本节我们来了解下Scrapy对接Splash来进行页面抓取的方式。 环境准备 首先在这之前请确保已经
pyspider和scrapy的区别
blue_lll的博客
06-07 4262
pyspider和scrapy的区别 pyspider提供 了 WebUI，爬虫的编写、调试都是在 WebUI 中进行的 。 而 Scrapy原生是不具备这个功能的，它采用的是代码和命令行操作，但可以通过对接 Portia实现可视化配置。 pyspider调试非常方便 ， WebUI操作便捷直观。 Scrapy则是使用 parse命令进行调试，方便程度不及pyspider。 pyspider支持...
爬虫之Splash基础篇
实践求真知
01-19 7150
一 点睛 Splash是一个JavaScript渲染服务，是一个带有HTTP API的轻量级浏览器，同时它对接了Python中的Twisted和QT库。利用它，我们同样可以实现动态渲染页面的抓取。 二 功能介绍 利用Splash，我们可以实现如下功能： 异步方式处理多个网页渲染过程； 获取渲染后的页面的源代码或截图； 通过关闭图片渲染或者使用Adblock规则来加快...
scrapy-splash
08-24
Scrapy-Splash 是 Scrapy 框架与 Splash（一个 JavaScript 渲染服务）的结合使用。Splash 可以执行 JavaScript 渲染，解决了 Scrapy 无法爬取 JavaScript 动态渲染内容的问题。 Scrapy-Splash 提供了一个 Middleware，用于将请求发送到 Splash 服务，获取渲染后的 HTML 页面。这样，Scrapy 就可以处理 JavaScript 动态渲染的页面了。 使用 Scrapy-Splash，你可以在 Spider 中发送请求到 Splash 服务，并获取渲染后的页面，然后进行解析和提取数据。这对于需要爬取 JavaScript 动态生成的内容、异步加载的数据等场景非常有用。 需要注意的是，Scrapy-Splash 需要安装和配置 Splash 服务才能正常使用。你可以在 Scrapy-Splash 的官方文档中找到详细的安装和配置指南。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值