2024年最新Python爬虫抓取纯静态网站及其资源_python下载所有js css img

本文介绍了作者如何使用Python爬虫自动抓取纯静态网站的HTML、JS、CSS和图片资源,避免了手动操作的繁琐。文章首先讲述了手动下载页面的不便,然后分享了编写Python爬虫的过程,强调了正则表达式在解析网页内容中的关键作用。此外,还提供了Python学习路线、必备软件、PDF电子书、入门视频、实战案例和面试资料,帮助读者系统学习和提升Python爬虫技能。
摘要由CSDN通过智能技术生成

中途找到了几个页面发现不错,然后就开始思考怎么把页面给下载下来。

由于之前还没有了解过爬虫,自然也就没有想到可以用爬虫来抓取网页内容。所以我采取的办法是:

打开chrome的控制台,进入Application选项

找到Frames选项,找到html文件,再右键Save As…

手动创建本地的js/css/images目录

依次打开Frames选项下的Images/Scripts/Stylesheets,一个文件就要右键Save As…

这个办法是我当时能想到的最好办法了。不过这种人为的办法有以下缺点:

手工操作,麻烦费时

一不小心就忘记保存哪个文件

难以处理路径之间的关系,比如一张图片a.jpg, 它在html中的引用方式是images/banner/a.jpg,这样我们以后还要手动去解决路径依赖关系

然后刚好前段时间接触了一点python,想到可以写个python爬虫来帮我自动抓取静态网站。于是就马上动手,参考相关资料等等。

下面跟大家详细分享一下写爬虫抓取静态网站的全过程。

前置知识储备

在下面的代码实践中,用到了python知识、正则表达式等等,核心技术是正则表达式

我们来一一了解一下。

Python基础知识

如果你之前有过其他语言的学习经历,相信你可以很快上手python这门语言。具体学习可以上查看python官方文档或者其他教程。

爬虫的概念

爬虫,按照我的理解,其实是一段自动执行的计算机程序,在web领域中,它存在的前提是

  • 26
    点赞
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值