Python抓取HTML网页并以PDF保存

最新推荐文章于 2022-06-13 06:00:00 发布
最新推荐文章于 2022-06-13 06:00:00 发布
阅读量1k 收藏 1
点赞数

目录(?)[+]

一、前言

今天介绍将HTML网页抓取下来，然后以PDF保存，废话不多说直接进入教程。

今天的例子以廖雪峰老师的Python教程网站为例：http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000

二、准备工作

  1. PyPDF2的安装使用（用来合并PDF）：

    PyPDF2版本：1.25.1

    https://pypi.python.org/pypi/PyPDF2/1.25.1

    或

    https://github.com/mstamy2/PyPDF2

    安装：

    pip install PyPDF2

    使用示例：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    from PyPDF2  import PdfFileMerger
    merger  = PdfFileMerger ( )
    input1  =  open ( "hql_1_20.pdf" ,  "rb" )
    input2  =  open ( "hql_21_40.pdf" ,  "rb" )
    merger. append (input1 )
    merger. append (input2 )
    # Write to an output PDF document
    output  =  open ( "hql_all.pdf" ,  "wb" )
    merger. write (output )
  2. requests、beautifulsoup 是爬虫两大神器，reuqests 用于网络请求，beautifusoup 用于操作 html 数据。有了这两把梭子，干起活来利索。scrapy 这样的爬虫框架我们就不用了，这样的小程序派上它有点杀鸡用牛刀的意思。此外，既然是把 html 文件转为 pdf，那么也要有相应的库支持， wkhtmltopdf 就是一个非常的工具，它可以用适用于多平台的 html 到 pdf 的转换，pdfkit 是 wkhtmltopdf 的Python封装包。首先安装好下面的依赖包 
    pip install requests
pip install beautifulsoup4
pip install pdfkit

  3. 安装 wkhtmltopdf

    Windows平台直接在 http://wkhtmltopdf.org/downloads.html 下载稳定版的 wkhtmltopdf 进行安装，安装完成之后把该程序的执行路径加入到系统环境 $PATH 变量中，否则 pdfkit 找不到 wkhtmltopdf 就出现错误 “No wkhtmltopdf executable found”。Ubuntu 和 CentOS 可以直接用命令行进行安装

    $ sudo apt-get install wkhtmltopdf  # ubuntu
$ sudo yum intsall wkhtmltopdf      # centos

     

三、数据准备

1.获取每篇文章的url

[python]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. def get_url_list():  
  2.     """ 
  3.     获取所有URL目录列表 
  4.     :return: 
  5.     """  
  6.     response = requests.get("http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000")  
  7.     soup = BeautifulSoup(response.content, "html.parser")  
  8.     menu_tag = soup.find_all(class_="uk-nav uk-nav-side")[1]  
  9.     urls = []  
  10.     for li in menu_tag.find_all("li"):  
  11.         url = "http://www.liaoxuefeng.com" + li.a.get('href')  
  12.         urls.append(url)  
  13.     return urls  


2.通过文章url用模板保存每篇文章的HTML文件

html模板：

[python]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. html_template = """ 
  2. <!DOCTYPE html> 
  3. <html lang="en"> 
  4. <head> 
  5.     <meta charset="UTF-8"> 
  6. </head> 
  7. <body> 
  8. {content} 
  9. </body> 
  10. </html> 
  11.  
  12. """  


进行保存：

[python]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. def parse_url_to_html(url, name):  
  2.     """ 
  3.     解析URL，返回HTML内容 
  4.     :param url:解析的url 
  5.     :param name: 保存的html文件名 
  6.     :return: html 
  7.     """  
  8.     try:  
  9.         response = requests.get(url)  
  10.         soup = BeautifulSoup(response.content, 'html.parser')  
  11.         # 正文  
  12.         body = soup.find_all(class_="x-wiki-content")[0]  
  13.         # 标题  
  14.         title = soup.find('h4').get_text()  
  15.   
  16.         # 标题加入到正文的最前面，居中显示  
  17.         center_tag = soup.new_tag("center")  
  18.         title_tag = soup.new_tag('h1')  
  19.         title_tag.string = title  
  20.         center_tag.insert(1, title_tag)  
  21.         body.insert(1, center_tag)  
  22.         html = str(body)  
  23.         # body中的img标签的src相对路径的改成绝对路径  
  24.         pattern = "(<img .*?src=\")(.*?)(\")"  
  25.   
  26.         def func(m):  
  27.             if not m.group(3).startswith("http"):  
  28.                 rtn = m.group(1) + "http://www.liaoxuefeng.com" + m.group(2) + m.group(3)  
  29.                 return rtn  
  30.             else:  
  31.                 return m.group(1)+m.group(2)+m.group(3)  
  32.         html = re.compile(pattern).sub(func, html)  
  33.         html = html_template.format(content=html)  
  34.         html = html.encode("utf-8")  
  35.         with open(name, 'wb') as f:  
  36.             f.write(html)  
  37.         return name  
  38.   
  39.     except Exception as e:  
  40.   
  41.         logging.error("解析错误", exc_info=True)  


3.把html转换成pdf

[python]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. def save_pdf(htmls, file_name):  
  2.     """ 
  3.     把所有html文件保存到pdf文件 
  4.     :param htmls:  html文件列表 
  5.     :param file_name: pdf文件名 
  6.     :return: 
  7.     """  
  8.     options = {  
  9.         'page-size': 'Letter',  
  10.         'margin-top': '0.75in',  
  11.         'margin-right': '0.75in',  
  12.         'margin-bottom': '0.75in',  
  13.         'margin-left': '0.75in',  
  14.         'encoding': "UTF-8",  
  15.         'custom-header': [  
  16.             ('Accept-Encoding', 'gzip')  
  17.         ],  
  18.         'cookie': [  
  19.             ('cookie-name1', 'cookie-value1'),  
  20.             ('cookie-name2', 'cookie-value2'),  
  21.         ],  
  22.         'outline-depth': 10,  
  23.     }  
  24.     pdfkit.from_file(htmls, file_name, options=options)  


4.把转换好的单个PDF合并为一个PDF

[python]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. merger = PdfFileMerger()  
  2. for pdf in pdfs:  
  3.    merger.append(open(pdf,'rb'))  
  4.    print u"合并完成第"+str(i)+'个pdf'+pdf  



完整源码：
[python]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. # coding=utf-8  
  2. import os  
  3. import re  
  4. import time  
  5. import logging  
  6. import pdfkit  
  7. import requests  
  8. from bs4 import BeautifulSoup  
  9. from PyPDF2 import PdfFileMerger  
  10.   
  11. html_template = """ 
  12. <!DOCTYPE html> 
  13. <html lang="en"> 
  14. <head> 
  15.     <meta charset="UTF-8"> 
  16. </head> 
  17. <body> 
  18. {content} 
  19. </body> 
  20. </html> 
  21.  
  22. """  
  23.   
  24.   
  25. def parse_url_to_html(url, name):  
  26.     """ 
  27.     解析URL，返回HTML内容 
  28.     :param url:解析的url 
  29.     :param name: 保存的html文件名 
  30.     :return: html 
  31.     """  
  32.     try:  
  33.         response = requests.get(url)  
  34.         soup = BeautifulSoup(response.content, 'html.parser')  
  35.         # 正文  
  36.         body = soup.find_all(class_="x-wiki-content")[0]  
  37.         # 标题  
  38.         title = soup.find('h4').get_text()  
  39.   
  40.         # 标题加入到正文的最前面，居中显示  
  41.         center_tag = soup.new_tag("center")  
  42.         title_tag = soup.new_tag('h1')  
  43.         title_tag.string = title  
  44.         center_tag.insert(1, title_tag)  
  45.         body.insert(1, center_tag)  
  46.         html = str(body)  
  47.         # body中的img标签的src相对路径的改成绝对路径  
  48.         pattern = "(<img .*?src=\")(.*?)(\")"  
  49.   
  50.         def func(m):  
  51.             if not m.group(3).startswith("http"):  
  52.                 rtn = m.group(1) + "http://www.liaoxuefeng.com" + m.group(2) + m.group(3)  
  53.                 return rtn  
  54.             else:  
  55.                 return m.group(1)+m.group(2)+m.group(3)  
  56.         html = re.compile(pattern).sub(func, html)  
  57.         html = html_template.format(content=html)  
  58.         html = html.encode("utf-8")  
  59.         with open(name, 'wb') as f:  
  60.             f.write(html)  
  61.         return name  
  62.   
  63.     except Exception as e:  
  64.   
  65.         logging.error("解析错误", exc_info=True)  
  66.   
  67.   
  68. def get_url_list():  
  69.     """ 
  70.     获取所有URL目录列表 
  71.     :return: 
  72.     """  
  73.     response = requests.get("http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000")  
  74.     soup = BeautifulSoup(response.content, "html.parser")  
  75.     menu_tag = soup.find_all(class_="uk-nav uk-nav-side")[1]  
  76.     urls = []  
  77.     for li in menu_tag.find_all("li"):  
  78.         url = "http://www.liaoxuefeng.com" + li.a.get('href')  
  79.         urls.append(url)  
  80.     return urls  
  81.   
  82.   
  83. def save_pdf(htmls, file_name):  
  84.     """ 
  85.     把所有html文件保存到pdf文件 
  86.     :param htmls:  html文件列表 
  87.     :param file_name: pdf文件名 
  88.     :return: 
  89.     """  
  90.     options = {  
  91.         'page-size': 'Letter',  
  92.         'margin-top': '0.75in',  
  93.         'margin-right': '0.75in',  
  94.         'margin-bottom': '0.75in',  
  95.         'margin-left': '0.75in',  
  96.         'encoding': "UTF-8",  
  97.         'custom-header': [  
  98.             ('Accept-Encoding', 'gzip')  
  99.         ],  
  100.         'cookie': [  
  101.             ('cookie-name1', 'cookie-value1'),  
  102.             ('cookie-name2', 'cookie-value2'),  
  103.         ],  
  104.         'outline-depth': 10,  
  105.     }  
  106.     pdfkit.from_file(htmls, file_name, options=options)  
  107.   
  108.   
  109. def main():  
  110.     start = time.time()  
  111.     file_name = u"liaoxuefeng_Python3_tutorial"  
  112.     urls = get_url_list()  
  113.     for index, url in enumerate(urls):  
  114.       parse_url_to_html(url, str(index) + ".html")  
  115.     htmls =[]  
  116.     pdfs =[]  
  117.     for i in range(0,124):  
  118.         htmls.append(str(i)+'.html')  
  119.         pdfs.append(file_name+str(i)+'.pdf')  
  120.   
  121.         save_pdf(str(i)+'.html', file_name+str(i)+'.pdf')  
  122.   
  123.         print u"转换完成第"+str(i)+'个html'  
  124.   
  125.     merger = PdfFileMerger()  
  126.     for pdf in pdfs:  
  127.        merger.append(open(pdf,'rb'))  
  128.        print u"合并完成第"+str(i)+'个pdf'+pdf  
  129.   
  130.     output = open(u"廖雪峰Python_all.pdf", "wb")  
  131.     merger.write(output)  
  132.   
  133.     print u"输出PDF成功！"  
  134.   
  135.     for html in htmls:  
  136.         os.remove(html)  
  137.         print u"删除临时文件"+html  
  138.   
  139.     for pdf in pdfs:  
  140.         os.remove(pdf)  
  141.         print u"删除临时文件"+pdf  
  142.   
  143.     total_time = time.time() - start  
  144.     print(u"总共耗时：%f 秒" % total_time)  
  145.   
  146.   
  147. if __name__ == '__main__':  
  148.     main()  
秦江故人
关注
Python爬虫解析网页的4种方式 值得收藏
Python学习Q群696455390
12-28 2933
用Python写爬虫工具在现在是一种司空见惯的事情，每个人都希望能够写一段程序去互联网上扒一点资料下来，用于数据分析或者干点别的事情。 我们知道，爬虫的原理无非是把目标网址的内容下载下来存储到内存中，这个时候它的内容其实是一堆HTML，然后再对这些HTML内容进行解析，按照自己的想法提取出想要的数据，所以今天我们主要来讲四种在Python中解析网页HTML内容的方法，各有千秋，适合在不同的场...
python 批量爬取网页pdf_Python实现抓取HTML网页并以PDF文件形式保存的方法
weixin_39906878的博客
12-05 590
本文实例讲述了Python实现抓取HTML网页并以PDF文件形式保存的方法。分享给大家供大家参考，具体如下：一、前言今天介绍将HTML网页抓取下来，然后以PDF保存，废话不多说直接进入教程。今天的例子以廖雪峰老师的Python教程网站为例：http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c0...
python 爬取网页内容并保存为pdf格式
09-16
利用Python爬取网页中的图片内容，并将其转换为pdf格式的文件。
python 保存文件_神奇的Python模块：pdfkit，将Python抓取的网址内容保存pdf文件
weixin_39833454的博客
11-28 236
图/文：迷神写python爬虫写的多了，有时候想把网址页面内容，按照标题.pdf模式，直接保存为pdf电子书的形式。这样也非常方便备档阅读，特别是一些简洁的比如微信公众号的里面的文章，很简洁，很适合将网址内容保存成pdf文档。于是，我就发现了神奇的Python模块：pdfkit，他可以将Python抓取的网址内容保存pdf文件形式，很优美的赶脚。pdfkit安装，很简单，一行命令即可：pip in...
使用 Python 将 HTML 转成 PDF
xys430381_1的专栏
05-31 2381
背景很多人应该经常遇到在网上看到好的学习教程和资料但却没有电子档的，心里顿时痒痒，下述指导一下大家，如何将网站上的各类教程转换成 PDF 电子书。关键核心主要使用的是wkhtmltopdf的Python封装—【pdfkit】环境安装python3系列pip install requestspip install beautifulsoup4pip install pdfkit如果是liunx系，则...
beautifulsoup 解析html方法（爬虫）
热门推荐
wml
06-22 3万+
用BeautifulSoup 解析html和xml字符串 实例： #!/usr/bin/python # -*- coding: UTF-8 -*- from bs4 import BeautifulSoup import re #待分析字符串 html_doc = """ &lt;html&gt; &lt;head&gt; &lt;title&gt;The Dormouse's...
Python实现抓取HTML网页并以PDF文件形式保存的方法
09-20
【Python实现抓取HTML网页并以PDF文件形式保存的方法】 在Python编程中，有时我们需要将网页内容抓取下来并保存为PDF格式，以便于离线阅读或者方便打印。本篇将详细介绍如何使用Python来实现这一功能，主要涉及的库...
Python3，2行代码，多种方法，直接把网页内容转换成PDF文档和图片。
商务合作 | 面试培训 | 职场规划 ==>主页扫码
06-13 1万+
看过这篇博文，再也不用用花费时间来编写脚本对网页进行PDF转换了。
python爬取下来的图片不可见_初学Python-只需4步，爬取网站图片（附py文件）
weixin_39658716的博客
11-20 1290
很多人学习Python很重要的一个原因是，可以很简单的把一个网站的数据爬下来。尤其是做我们这一行，产品经理，电商行业。领导：弄一个买卖游戏周边商品的交易APP出来。我：行，那我们卖什么呀？领导：看下友商卖什么我们就卖什么。我：好吧，那就爬点数据下来吧。玩笑归玩笑，虽有夸张成分，但也不无道理。作为入门级别，首先就来学习下怎么爬取网站图片。只需要调用4个方法，即可轻松批量拿到网站图片。下面对于每一步调...
html爬取保存图片,python抓取网页中图片并保存到本地
weixin_39622398的博客
06-10 356
#-*-coding:utf-8-*-import osimport uuidimport urllib2import cookielib'''获取文件后缀名'''def get_file_extension(file):return os.path.splitext(file)[1]'''建文件目录，并返回该目录'''def mkdir(path):# 去除左右两边的空格path=path.st...
Python3直接爬取图片URL并保存示例
python爬虫开发教程
03-27 2805
今天小编就为大家分享一篇Python3直接爬取图片URL并保存示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧 有时候我们会需要从网络上爬取一些图片，来满足我们形形色色直至不可描述的需求。 一个典型的简单爬虫项目步骤包括两步：获取网页地址和提取保存数据。 这里是一个简单的从图片url收集图片的例子，可以成为一个小小的开始。 获取地址 这些图片的URL可能是连续变化的，如从001...
Python中网络页面抓取和页面分析
Sean的专栏
07-22 1万+
转载本文请以链接形式注明出处。 1.前言         Python的网络抓取有很多包可以实现，比如：urllib、urllib2、httplib、httplib2。其中httplib、httplib2是专门处理与http相关的；而urllib、urllib2是借助于httplib、httplib2实现的，相当于在httplib、httplib2上又封装了一层来进行处理web数据。而urll
爬取html页面图片,用python 爬取网页图片
weixin_29463881的博客
06-04 659
import reimport stringimport sysimport osimport urlliburl="http://tieba.baidu.com/p/2521298181"#这个是某贴吧地址imgcontent=urllib.urlopen(url).read()#抓取网页内容reg = r'src="(.+?\.jpg)" pic_ext'imgre = re.compile(...
【python爬虫】图片的爬取与保存
loongkingwhat的博客
11-22 3508
一. 写在前面 前端页面的展示通常是是在html文件当中嵌入图片url，爬取图片其实就分为以下几个部分： S1. 解析html页面获取图片url S2. 通过图片url将图片保存至本地 下面分别进行讲解。 二. HTML页面解析 HTML的解析主要是使用美味汤BeautifulSoup，关于美味汤的教程可以参考北京理工大学 嵩天老师在中国大学MOOC上的Python爬虫课程。 以下是不是视频课程的...
python利用wkhtmltopdf工具生成pdf
xhwy_zh的博客
03-03 510
最近有个需求是要生成pdf报告，在网上看了许多，最终选择python利用wkhtmltopdf工具生成pdf。 PythonToPDF-Python转pdf工具 ------------------------------------------------------------------------------------------------------- 具体参数看我的git ...
python 网页生成pdf_3个步骤教你如何用Python实现网页转PDF
weixin_39906878的博客
12-11 772
前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。作者：fdyps：不管你是零基础还是有基础都可以获取到自己相对应的学习礼包！包括python软件工具和2020最新入门到实战教程。加群695185429即可免费获取。在用jupyter notebook写代码文档的时候，有时需要导出pdf版本，但jupyter会报错。我在想，除...
python解析html模块_python模块之HTMLParser: 解析html,获取url
weixin_39875031的博客
12-01 207
HTMLParser是python用来解析html的模块。它可以分析出html里面的标签、数据等等，是一种处理html的简便途径。HTMLParser采用的是一种事件驱动的模式，当HTMLParser找到一个特定的标记时，它会去调用一个用户定义的函数，以此来通知程序处理。它主要的用户回调函数的命名都是以handler_开头的，都是HTMLParser的成员函数。当我们使用时，就从HTMLParse...
python模块之HTMLParser: 解析html,获取url
xunalove的博客
11-02 891
HTMLParser是python用来解析html的模块。它可以分析出html里面的标签、数据等等，是一种处理html的简便途径。HTMLParser采用的是一种事件驱动的模式，当HTMLParser找到一个特定的标记时，它会去调用一个用户定义的函数，以此来通知程序处理。它主要的用户回调函数的命名都是以handler_开头的，都是HTMLParser的成员函数。当我们使用时，就从HTMLParser
Python爬虫入门：HTTP、HTML与基础库详解
本资源是一份名为《Python爬虫基础知识.pdf》的文档，它专注于介绍Python爬虫开发的基础知识，帮助读者理解网页抓取的核心原理和技术。首先，文档强调了HTTP协议和HTML语言的理解，因为它们是爬虫工作的基石。HTTP...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值