Python爬取网页转为PDF

最新推荐文章于 2024-08-19 13:05:05 发布
最新推荐文章于 2024-08-19 13:05:05 发布
阅读量4.7k 收藏 17
点赞数 3
分类专栏： Python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/molu_chase/article/details/77508260
版权
本文讲述了使用Python爬取Android官方手册并转换为PDF的过程。首先介绍了爬虫的起因，然后详细阐述了全篇实现思路，包括网页分析、Requests库和Beautiful Soup库的使用。在配置部分提到了Ubuntu环境下PyCharm的运行和wkhtmltopdf的安装。通过网页分析和标签查找，实现了正文、标题和导航条网址的提取，并将内容转为PDF。
摘要由CSDN通过智能技术生成

爬虫的起因

官方文档或手册虽然可以查阅，但是如果变成纸质版的岂不是更容易翻阅与记忆。如果简单的复制粘贴，不知道何时能够完成。于是便开始想着将Android的官方手册爬下来。

全篇的实现思路

  1. 分析网页
  2. 学会使用BeautifulSoup库
  3. 爬取并导出

参考资料：
* 把廖雪峰的教程转换为PDF电子书
* Requests文档
* Beautiful Soup文档

配置

在Ubuntu下使用Pycharm运行成功
转PDF需要下载wkhtmltopdf

具体过程

网页分析

这样一个网页https://developer.android.com/training/basics/supporting-devices/screens.html,要做的是获取该网页的正文和标题，以及左边导航条的所有网址
如下所示：
0423
接下来的工作就是找到这些标签喽…

关于Requests的使用

详细参考文档，这里只是简单的使用Requests获取html以及使用代理翻墙（网站无法直接访问，需要VPN）


                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  moluchase
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
利用Python爬取教程并转为PDF文档！

				
			

			

				

					2401_83703866的博客
				

				

					04-22
					
					710
					
				

			

		

		

			
				
外链图片转存中…(img-BU4Kjeyw-1713761674975)]

			
		

	



                

              
                



	

		

			

				
					
python 爬取网页内容并保存为pdf格式

				
			

			

				

					09-16
				

			

		

		

			
				
利用Python爬取网页中的图片内容，并将其转换为pdf格式的文件。

			
		

	



                


  
              

                


	

		

			

				
					
用 Python 爬取网页 PDF 和文档

				
			

			

				

					mycsdn的博客
				

				

					10-02
					
					5659
					
				

			

		

		

			
				
找到输入框对应的标签，根据 class name 进行内容清楚和输入（如果标签有 id 属性可以根据 id 进行输入框确定），代码如下。注意：ANSI 编码的文本在 kindle 打开会有部分乱码，UTF-8 编码的不会。缺点：str(news_context) 的使用导致 div 标签出现，且。获取标签的某个属性，例如 a 标签的 href 属性，代码如下。如果标签属性较少，则可以使用正则提取，例子及其代码如下。，可以免费查看部分资料，全部资料的话是收费的。除了上述两个作为例子的网站，还有。

			
		

	





	

		

			

				
					
python 批量页面打印为pdf

					
最新发布

				
			

			

				

					liuguowei14的博客
				

				

					08-19
					
					393
					
				

			

		

		

			
				
这个需求兜兜转转最后还是落在了我这个小前端身上，没办法，毕竟现在的活不多，导致我摸鱼的时候放松警惕，被发现了……比如我们产品部要打印第一页到第五页的所有页面，当然人家肯定不会给你提供页面链接，毕竟要一个一个去点。打印页面的第一步首先要获取页面的地址，这点需要根据具体的页面示例去调整，大家可以参考我碰到的需求。首先在控制台(f12)，我们看到这个页面组成，每个标题下都是一个a标签，并且其最上有一个名为。的大类名，知道了他的结构，现在我们就可以根据结构在控制台进行操作了。在打印之前首先我们要下载一个。

			
		

	



		

			
		



	

		

			

				
					
python 实现将网页转化成pdf文档

				
			

			

				

					CXY00000的博客
				

				

					11-28
					
					3676
					
				

			

		

		

			
				
本文章仅说思路，不提供具体实现的代码
1.爬取要制作成pdf的HTML网页标签
2.将爬取到的标签放到body标签内部组合成完整的HTML格式代码（我记得有个库可以实现，找了半天没找到，有记得的帮忙下边评论下）
3.使用pdfkit库将组合完整的HTML代码转化成pdf文档
pdfkit库的安装使用
pip install pdfkit
还需要安装配套的软件wkhtmltox（官网下载就行，一路next安装即可）
并且将wkhtmltox安装目录中的bin目录配置到path环境变量中
pfdkit.from

			
		

	





	

		

			

				
					
python 爬取文章并保存为pdf

				
			

			

				

					梦里逆天的博客
				

				

					08-11
					
					2734
					
				

			

		

		

			
				
python 爬取文章并保存为pdf。

			
		

	





	

		

			

				
					
python爬取pdf_python爬取在线教程转成pdf

				
			

			

				

					weixin_39842237的博客
				

				

					12-02
					
					298
					
				

			

		

		

			
				
1、网站介绍之前再搜资料的时候经常会跳转到如下图所示的在线教程：01.教程样式包括一些github的项目也纷纷将教程链接指向这个网站。经过一番查找，该网站是一个可以创建、托管和浏览文档的网站，其网址为：https://readthedocs.org 。在上面可以找到很多优质的资源。该网站虽然提供了下载功能，但是有些教程并没有提供PDF格式文件的下载，如图：02.下载该教程只提供了 HTML格式文件...

			
		

	





	

		

			

				
					
python 批量爬取网页pdf_爬取网页文件并批量解析pdf

				
			

			

				

					weixin_34360879的博客
				

				

					02-19
					
					4608
					
				

			

		

		

			
				
很多时候我们需要爬取网上的文件并提取文件的数据做对比，文件一般为pdf格式需要转化为excel表格，现在可以用python实现采集数据到提取数据的全流程操作。一、首先要爬取网页内容下载pdf文件import requestsfrom lxml import htmletree = html.etreeimport osimport timedef main(i):#第一页if i==1:url =...

			
		

	





	

		

			

				
					
python爬取网页转换为PDF文件

				
			

			

				

					09-20
				

			

		

		

			
				
主要为大家详细介绍了python爬取网页转换为PDF文件，具有一定的参考价值，感兴趣的小伙伴们可以参考一下

			
		

	





	

		

			

				
					
Python 爬取网页内容，转成PDF

				
			

			

				

					一步一个脚印
				

				

					05-03
					
					6014
					
				

			

		

		

			
				
将廖雪峰的学习教程转换成PDF文件，代码只适合该网站，如果需要其他网站的教程，可靠需要进行稍微的修改。# coding=utf-8  
import os  
import re  
import time  
import pdfkit  
import requests  
from bs4 import BeautifulSoup  
from PyPDF2 import PdfFileMer

			
		

	





	

		

			

				
					
python爬虫修改版.pdf

				
			

			

				

					07-09
				

			

		

		

			
				
第一章 爬虫和数据。
第二章 Requests 模块。
第三章 正则表达式。
第四章 XPATH 提取数据。
第五章 动态 HTML 处理。
第六章 多线程爬虫实现。
第七章：Scrapy 框架初步。
第八章：增量爬虫。
第九章：验证码识别。
第十章 MongoDB 数据库。
第十一章 爬虫项目。
第十二章：Redis 数据库。
第十三章：分布式爬虫 Scrapy-redis 框架。
第十四章：Python 爬虫监控，自定义爬虫。
第十五章：项目实战，考核、爬虫流程。
附录

			
		

	





	

		

			

				
					
python爬虫读取pdf_python爬取网页转换为PDF文件

				
			

			

				

					weixin_39628041的博客
				

				

					11-24
					
					152
					
				

			

		

		

			
				
爬虫的起因官方文档或手册虽然可以查阅，但是如果变成纸质版的岂不是更容易翻阅与记忆。如果简单的复制粘贴，不知道何时能够完成。于是便开始想着将android的官方手册爬下来。全篇的实现思路分析网页学会使用beautifulsoup库爬取并导出参考资料：配置在ubuntu下使用pycharm运行成功转pdf需要下载wkhtmltopdf具体过程网页分析如下所示的一个网页,要做的是获取该网页的正文和标题，...

			
		

	





	

		

			

				
					
【Python爬虫】爬取公众号文章制作成PDF

				
			

			

				

					m0_60452134的博客
				

				

					04-01
					
					851
					
				

			

		

		

			
				
最后制作成 pdf 文件小编来画个图吧具体就是这样ok有了思路之后我们就开干先从数据抓包开始将手机连好同个局域网的 WIFI然后打开 fiddler在手机上刷一下这个公众号的历史文章往下多滑几下然后来看看 fiddler 抓到了什么数据可以发现就是这个接口一直在请求来看看其中一个具体数据请求可以发现微信在获取公众号历史文章的时候有这么些参数是要携带的小编看了下比较重要的两个参数是和应该是用来加载更多文章的参数其他的什么 token 参数。

			
		

	





	

		

			

				
					
【Python爬虫】爬取公众号文章制作成PDF，Python从入门到精通

				
			

			

				

					2301_79054557的博客
				

				

					03-30
					
					995
					
				

			

		

		

			
				
这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。基本上主流的和经典的都有，这里我就不放图了，版权问题，个人看看是没有问题的。

			
		

	





	

		

			

				
					
python爬取pdf内容_python爬取网页内容转换为PDF文件

				
			

			

				

					weixin_39633891的博客
				

				

					11-22
					
					148
					
				

			

		

		

			
				
本文实例为大家分享了python爬取网页内容转换为PDF的具体代码，供大家参考，具体内容如下将廖雪峰的学习教程转换成PDF文件，代码只适合该网站，如果需要其他网站的教程，可靠需要进行稍微的修改。# coding=utf-8import osimport reimport timeimport pdfkitimport requestsfrom bs4 import BeautifulSoupfro...

			
		

	





	

		

			

				
					
Python爬取CSDN文章并制作成PDF

				
			

			

				

					人生苦短， 还不用Python？
				

				

					11-10
					
					1326
					
				

			

		

		

			
				
前言
文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
[http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef]
用 python 爬取你喜欢的 CSDN 的原创文章，制作成 P...

			
		

	





	

		

			

				
					
爬虫案例-将网页内容转为PDF/HTML文件

				
			

			

				

					j1451284189的博客
				

				

					01-12
					
					2034
					
				

			

		

		

			
				
数据获取requests
数据解析：bs4
数据存储：pdfkit


			
		

	





	

		

			

				
					
python爬取网页pdf

				
			

			

				

					10-13
				

			

		

		

			
				
可以使用Python中的requests和BeautifulSoup库来爬取网页中的PDF文件。具体步骤如下：  1. 使用requests库获取网页的HTML代码。 2. 使用BeautifulSoup库解析HTML代码，找到PDF文件的链接。 3. 使用requests库下载PDF...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值