Python爬虫入门教程24：下载某网站付费文档保存PDF

最新推荐文章于 2024-07-28 22:45:46 发布
最新推荐文章于 2024-07-28 22:45:46 发布
阅读量1.3k 收藏 11
点赞数 13
分类专栏： 2024年程序员学习 文章标签： python 爬虫 pdf
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_83973893/article/details/137234814
版权

Python爬虫入门教程21：付费文档的爬取

Python爬虫入门教程22：百度翻译JS解密

Python爬虫入门教程23：A站视频的爬取，解密m3u8视频格式

PS：如有需要 Python学习资料 以及 解答 的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

基本开发环境💨

  • Python 3.6

  • Pycharm

相关模块的使用💨

import requests

import parsel

import re

import os

import pdfkit

安装Python并添加到环境变量，pip安装需要的相关模块即可。

需要使用到一个软件 wkhtmltopdf 这个软件的作用就是把html文件转成PDF

（软件可以点击上方链接在学习交流群中即可获取）

想要把文档内容保存成PDF， 首先保存成html文件， 然后把html文件转PDF

💥需求数据来源分析

写爬虫程序，对于数据来源的分析，是比较重要的，因为只有当你知道数据的来源你才能通过代码去实现

在这里插入图片描述

网站分类有比较多种， 也可以选择自己要爬取的。

这个网站如果你只是正常直接去复制文章内容的话，会直接弹出需要费的窗口…

在这里插入图片描述

但是这个网站上面的数据内容又非常好找， 因为网站本身仅仅只是静态网页数据，可以直接获取相关的内容。

在这里插入图片描述

通过上述内容，如果想要批量下载文章内容， 获取每篇文章的url地址即可， 想要获取每篇文章的url地址，这就需要去文章的列表页面找寻相关的数据内容了。

在这里插入图片描述

💥整体思路

  1. 发送请求，对于文章列表url地址发送请求

  2. 获取数据，获取网页源代码数据内容

  3. 解析数据，提取文章url地址

  4. 发送请求，对于文章url地址发送请求

  5. 获取数据，获取网页源代码数据内容

  6. 解析数据，提取文章标题以及文章内容

  7. 保存数据，把获取的数据内容保存成PDF

  8. 转成PDF文件

💥代码实现

import requests

import parsel

import re

import os

import pdfkit

html_filename = ‘html\’

if not os.path.exists(html_filename):

os.mkdir(html_filename)

pdf_filename = ‘pdf\’

if not os.path.exists(pdf_filename):

os.mkdir(pdf_filename)

html_str = “”"

<!doctype html>

Document

{article}

“”"

def change_title(name):

pattern = re.compile(r"[/\😗?“<>|]”) # ‘/ \ : * ? " < > |’

new_title = re.sub(pattern, “_”, name) # 替换为下划线

return new_title

for page in range(1, 11):

print(f’正在爬取第{page}页数据内容’)

url = f’https://www.chinawenwang.com/zlist-55-{page}.html’

headers = {

‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36’

}

response = requests.get(url=url, headers=headers)

href = re.findall(‘

’, response.text)

for index in href:

response_1 = requests.get(url=index, headers=headers)

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
img
img



既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）
img

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

img
img

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！img

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

img

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

img

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。img

六、面试宝典

在这里插入图片描述

在这里插入图片描述

简历模板在这里插入图片描述

里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/76297f91d14514672f4a1b141f32f260.png)

在这里插入图片描述

简历模板在这里插入图片描述
2401_83973893
关注
专栏目录
python下载付费文档教程-python爬文档
weixin_37988176的博客
11-01 4460
广告关闭2017年12月，云+社区对外发布，从最开始的技术博客到现在拥有多个社区产品。未来，我们一起乘风破浪，创造无限可能。最近项目需要将批量链接中的pdf文档爬下来处理，根据以下步骤完成了任务：将批量下载链接copy到text中，每行1个链接； 再读txt文档构造url_list列表，利用readlines返回以行为单位的列表； 利用str的rstrip方法，删除 string 字符串末尾的指定...
python怎样爬取付费文档_Python爬取百度百科 ！付费文档同样爬！
weixin_39889329的博客
12-02 4561
写在前面的话首先呢，这是本文作者第一次发关于技术的文章，如有不足还请大家指出。另外，我们这一次使用的 IDE(集成开发环境)是 PyCharm，其他的还请大家自行研究了。任务简介利用 python 爬取百度百科的任何一个词条的简介，在本文中我们将了解爬虫的几个库的基本使用方法，例如 bs4 (BeautifulSoup)，requests 等等，可以这么说，学完这一篇文章，你就可以爬取一些静...
Python如何免费获取付费文档的数据, 保存word文档
python56123的博客
07-02 2152
嗨喽~大家好呀，这里是魔王呐 ❤ ~!
如何复制网站里付费的文章？【超详细教学】
最新发布
yaosichengalpha的博客
07-28 1337
如何复制网站里付费的文章？【超详细教学】
完整的python项目实例-《Python爬虫开发与项目实战》pdf完整版
q6q6q的专栏
10-28 6586
【实例简介】【实例截图】【核心代码】目录前言基础篇第1章　回顾Python编程21.1　安装Python21.1.1　Windows上安装Python21.1.2　Ubuntu上的Python31.2　搭建开发环境41.2.1　Eclipse PyDev41.2.2　PyCharm101.3　IO编程111.3.1　文件读写111.3.2　操作文件和目录141.3.3　序列化操作151.4　进程和...
Python爬取某平台付费文档，确定不来薅羊毛吗？
WANGJUNAIJIAO的博客
01-11 3407
在文件夹中都是有序排列循序的，但是用os模块读取出来的文件名，都是无序的，这样保存的话会导致文档内容循序错乱，这不是我们想要的。爬取这些文档，都是需要打印或者查询所以要把这些单张的图片都保存到word文档里面。先看一眼，ok有点印象。这时“学小易”就很友好了，但是唯一不足的一点是，只有答案，没有过程。正常的操作大家都是知道使用os模块就可以获取了，但是这里有一个问题。网站的文档内容，都是以图片形式存在的。一定要设置写入图片的大小，不然图片太大，排版不好看。爬虫部分的代码还是比较简单的，没有什么特别的难度。
Python爬虫入门教程24：下载某网站付费文档保存PDF(1)
2301_79600088的博客
04-21 764
通过上述内容，如果想要批量下载文章内容， 获取每篇文章的url地址即可， 想要获取每篇文章的url地址，这就需要去文章的列表页面找寻相关的数据内容了。但是这个网站上面的数据内容又非常好找， 因为网站本身仅仅只是静态网页数据，可以直接获取相关的内容。new_title = re.sub(pattern, “_”, name) # 替换为下划线。想要把文档内容保存成PDF， 首先保存成html文件， 然后把html文件转PDF。保存数据，把获取的数据内容保存成PDF。发送请求，对于文章url地址发送请求。
Python爬虫入门教程24：下载某网站付费文档保存PDF(2)
2401_84009317的博客
04-21 736
通过上述内容，如果想要批量下载文章内容， 获取每篇文章的url地址即可， 想要获取每篇文章的url地址，这就需要去文章的列表页面找寻相关的数据内容了。但是这个网站上面的数据内容又非常好找， 因为网站本身仅仅只是静态网页数据，可以直接获取相关的内容。想要把文档内容保存成PDF， 首先保存成html文件， 然后把html文件转PDF。这个网站如果你只是正常直接去复制文章内容的话，会直接弹出需要费的窗口…安装Python并添加到环境变量，pip安装需要的相关模块即可。保存数据，把获取的数据内容保存成PDF。
Python爬虫实战入门教程.pdf
06-20
主要特点： 由浅入深，从Python和Web前端基础开始讲起，逐步加深难度，层层递进。 　　内容详实，从静态网站到动态网站，从单机爬虫到分布式爬虫，既包含基础知识点，又讲解了关键问题和难点分析，方便读者完成进阶。
Python网络爬虫教程详解.pdf
08-06
进阶教程看：https://download.csdn.net/download/dwf1354046363/20818516 1 爬虫基本概述2 1.1 爬虫是什么. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.2 爬虫可以做什么. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.3 爬虫的分类. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.4 爬虫的基本流程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.4.1 浏览网页的流程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.4.2 爬虫的基本流程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.5 爬虫与反爬虫. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.5.1 爬虫的攻与防. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.5.2 常见的反爬与反反爬. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.6 爬虫的合法性与robots 协议. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.6.1 robots 协议. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.6.2 查看网页的robots 协议. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.7 Python 爬虫相关库 2 Chrome 浏览器开发者工具10 2.1 Chrome 浏览器开发者工具简述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.1.1 什么是浏览器开发者工具. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.1.2 浏览器开发者工具基本使用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.2 浏览器开发者工具面板说明. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.2.1 元素(Elements) 面板. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.2.2 网络(Network) 面板(1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.2.3 网络(Network) 面板(2) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 HTTP 协议16 3.1 HTTP 简介. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
python爬虫文档
12-13
python爬虫与项目实战，网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。 随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，如： (1)不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。 (2)通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。 (3)万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。 (4)通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。 网络爬虫 为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。与通用爬虫(general purpose web crawler)不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。 传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
python爬虫 （入门&进阶）.pdf
09-29
python网络爬虫【Python+人工智能+大数据分析】 python网络爬虫,用python写网络爬虫,达内智能网络编程,0基础学习,学习智能课,简单好学
python爬虫入门教程pdf-Python爬虫实战入门教程.pdf
weixin_37988176的博客
10-29 2146
Python 爬虫实战入门教程 州的先生《Python 爬虫实战入门教程》作者：州的先生微信公众号：州的先生 博客：2018/3/241Python 爬虫实战入门教程 州的先生目录目录 2第一章：工具准备 31.1、基础知识 31.2、开发环境、 31.3...
怎样用python爬虫付费文档_python爬文档
weixin_39529128的博客
11-29 2352
广告关闭腾讯云11.11云上盛惠 ，精选热门产品助力上云，云服务器首年88元起，买的越多返的越多，最高返5000元！最近项目需要将批量链接中的pdf文档爬下来处理，根据以下步骤完成了任务：将批量下载链接copy到text中，每行1个链接； 再读txt文档构造url_list列表，利用readlines返回以行为单位的列表； 利用str的rstrip方法，删除 string 字符串末尾的指定字符（默...
Python爬虫的两套解析方法和四种爬虫实现
IT派
08-29 691
对于大多数朋友而言，爬虫绝对是学习python的最好的起手和入门方式。因为爬虫思维模式固定，编程模式也相对简单，一般在细节处理上积累一些经验都可以成功入门。本文想针对某一...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值