Python + wGet 合璧，一键下载网页上所有的PDF

最新推荐文章于 2024-08-13 04:13:14 发布
最新推荐文章于 2024-08-13 04:13:14 发布
阅读量5.6k 收藏 5
点赞数
分类专栏： 浏览器 文章标签： Python wGet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mrtorney/article/details/51028885
版权
本文介绍了如何利用Python和wGet在Linux环境下，尤其是通过cygwin，实现从特定网页批量下载所有PDF文件的过程。通过设置基准URL和导入包含链接的文件，可以高效地完成下载任务。
摘要由CSDN通过智能技术生成

背景介绍：在Python方面，我是一名不折不扣的菜鸟。在Linux方面，算是懂些皮毛。就这么一个知识水平，还搞懂了一件事情。说明什么呢？不是运气好，而是证明“ 学习，只要带着强烈的目标，终有收获。”


用过三种wGet：

三种wGet

其中Office2016所带的wget，和WSUS所带的wget，均能在Windows的命令行下正常执行。唯独用cygWin编译后的，若离开cygwin，则报错不断：

离开cygWin,wGet会连报多个错误

何必对着干？那就还是回到cygwin目录下吧。

本次的实验页面是：http://toolkit.globus.org/toolkit/docs/latest-stable/gram5/#gram5，它有N多个PDF文档，俺想把它Down下来。所以首先就要请出Python抓取所有的PDF：


                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  mrtorney
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
python + wget多线程下载

				
			

			

				

					cool_bot的博客
				

				

					07-28
					
					3039
					
				

			

		

		

			
				
python + wget多线程下载读取链接下载函数MyThread并行下载代码
由于有个项目需要下载大量数据，数据大多是每个100MB左右，所以我想使用python + wget多线程下载的方式下载，设定下载子线程个数不得多于设定的个数，已经带有超时和重试次数的设定。
读取链接
这些链接我是从另外一个程序得到的，主要是是读取fits文件，然后将适合的链接输出到txt里，这里的readline_txt函数就是将txt里的链接读到一个列表里。
下载函数
Download_wget_OS(List,PATH)是

			
		

	



                

              
                



	

		

			

				
					
python_wget

				
			

			

				

					01-04
				

			

		

		

			
				
实现wget功能的程序--wget.py

			
		

	



                


  
              

                


	

		

			

				
					
python wget_实现wget功能的程序--wget.py

				
			

			

				

					weixin_39707168的博客
				

				

					11-24
					
					572
					
				

			

		

		

			
				
[python]代码库1 #! /usr/bin/env python23 import sys,urllib4 def reporthook(*a): print a   #reporthook函数会在每块数据下载或传输完成后被调用，#注释：用(block number, block size, total size)这三个参数调用reporthook函数。5 for url in sys.ar...

			
		

	





	

		

			

				
					
python wget 用法

					
最新发布

				
			

			

				

					weixin_32823555的博客
				

				

					08-13
					
					98
					
				

			

		

		

			
				
Python wget 用法
引言
在数据科学、网页爬虫和自动化任务中，文件下载是一个常见的操作。虽然 Python 标准库提供了urllib和requests等库来处理 HTTP 请求，但在某些情况下，使用 wget 命令行工具可能会更加便利。Python 中有一个名为 wget 的第三方库，它能够简化这一过程。在本文中...

			
		

	



		

			
		



	

		

			

				
					
Python爬虫：爬取在线教程生成pdf

				
			

			

				

					C与Python实战
				

				

					04-15
					
					5319
					
				

			

		

		

			
				
作为一名程序员，经常要搜一些教程，有的教程是在线的，不提供离线版本，这就有些局限了。那么同样作为一名程序员，遇到问题就应该解决它，今天就来将在线教程保存为PDF以供查阅。




1、网站介绍
2、准备工作
2.1 软件安装
2.2 库安装


3、爬取内容
3.1 获取教程名称
3.2 获取目录及对应网址
3.3 获取章节内容


3.4 保存pdf
3.5 合并pdf


4、完整代码
...

			
		

	





	

		

			

				
					
python wget 模块详解

				
			

			

				

					IT菜鸡成长记
				

				

					10-05
					
					7424
					
				

			

		

		

			
				
python wget模块使用详解(保姆级）

			
		

	





	

		

			

				
					
Xray_bash_onekey:Xray基于Nginx的VLESS WebSocket + TLS XTLS一键安装脚本

				
			

			

				

					04-06
				

			

		

		

			
				
Xray基于Nginx的VLESS WebSocket + TLS / XTLS一键安装脚本 感谢JetBrains提供的非商业开源软件开发授权。  感谢JetBrains的非商业性开源开发授权。 使用说明 可以直接输入命令： idleleo管理idleleo 。 减少直接...

			
		

	





	

		

			

				
					
Python使用wget实现下载网络文件功能示例

				
			

			

				

					09-20
				

			

		

		

			
				
wget是一个非常流行的命令行网络下载工具，它支持HTTP、HTTPS和FTP协议，能够用来从互联网上下载文件，也支持通过HTTP代理进行下载。它的特点包括可以恢复中断的下载、支持递归下载、支持后台下载，以及能够设定下载...

			
		

	





	

		

			

				
					
python wget下载href的链接图片

				
			

			

				

					asbc1314的博客
				

				

					04-09
					
					1129
					
				

			

		

		

			
				
import wget

html = 'http://localhost:8080/jpress/commons/captcha?d=0.8233469537052793'

wget.download(html,'demo_wget.png')


			
		

	





	

		

			

				
					
采用wget方式下载资源的download_from_google_storage.py

				
			

			

				

					01-12
				

			

		

		

			
				
采用wget方式下载资源的download_from_google_storage.py, 可以轻松在墙内下载并编译chromium源码

			
		

	





	

		

			

				
					
wget命令批量下载图片

				
			

			

				

					weixin_33767813的博客
				

				

					03-19
					
					1099
					
				

			

		

		

			
				
2019独角兽企业重金招聘Python工程师标准>>>   
                                        
         ...

			
		

	





	

		

			

				
					
工作效率：通过pdfkit包实现网页导出为pdf

				
			

			

				

					GIS摆渡人
				

				

					04-03
					
					709
					
				

			

		

		

			
				
遇到禁止复制该怎么办？幸好我会Pytho，相信大家都有遇到这种情况（无法复制）：或者是这种情况以上这种情况都是网页无法复制文本的情况。不过这些对于Python来说都不是问题。今天辰哥就叫你们用Python去解决。思路：利用pdfkit库将html网页保存为pdf。

			
		

	





	

		

			

				
					
分享利用 IDM 批量爬取网站静态资源！简单操作采集网站PDF 资源。

				
			

			

				

					西江茶客
				

				

					12-04
					
					1730
					
				

			

		

		

			
				
因为 IDM 有一个重要的功能就是站能抓取，和以前早期的一些整站搬运功能类似，以前做网站的人比较懒的时候，就直接 copy 别人整个网站，改改名字就 OK 了。当然如果你运气足够好的话，某些网站的付费资源也是一并可以爬取的，这种通常情况 下好像出现在小程序中比较多，也许是开发者只考虑到了小程序前端的限制，没有考虑到一旦获取文件路径，那么就有可能出现不设防。第六步：等待对站点图片进行检索，检索到的文档会在右边信息框内显示，并且 IDM 会自动对抓取的文件进行统计，实时查看抓取状态以及抓取文件数量。

			
		

	





	

		

			

				
					
2024年Linux CentOS 环境下安装JDK的三种方法(2)，2024年最新农民工看完都学会了

				
			

			

				

					2401_83947434的博客
				

				

					05-03
					
					1126
					
				

			

		

		

			
				
为了做好运维面试路上的助攻手，特整理了上百道，让你面试不慌心不跳，高薪offer怀里抱！这次整理的面试题，本份面试集锦涵盖了1、什么是运维?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?3、现在给你三百台服务器，你怎么对他们进行管理?4、简述raid0 raid1raid5二种工作模式的工作原理及特点5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?

			
		

	





	

		

			

				
					
小技巧：网页上下载内嵌的PDF

				
			

			

				

					ldoooo的博客
				

				

					03-29
					
					3806
					
				

			

		

		

			
				
但这个文章的方法我无法看到fetch，所以点击XHR尝试实现。

			
		

	





	

		

			

				
					
2023最新使用python爬虫爬取全网.pdf网址并下载需要的pdf文件资源（可设置搜索keyword）！！！

				
			

			

				

					qq_53862860的博客
				

				

					12-09
					
					3253
					
				

			

		

		

			
				
先来看看爬取pdf网址的结果，如图：爬取pdf的代码如下:


通过使用verify=False避免被https证书阻止，并使用content-disposition获取原始pdf名称，下载代码如下：


最终效果如图：感谢朋友们阅读，下期再见！！！

			
		

	





	

		

			

				
					
python wget.download()自定义下载样式

				
			

			

				

					weixin_52485317的博客
				

				

					05-03
					
					4467
					
				

			

		

		

			
				
今天我写 下载的时候,我和我的同事对于下载方式起了争议.

我使用的是wget方法实现的,我的同事使用的是requests方法实现的.

然后我的同事的requests方式实现的自定义下载样式嘛,是从网上复制粘贴来的。

我就想着:我去网上找一下也许也能实现,后来我发现网上没有,就想着自己实现吧.



本次所用到的库:wget库

可以通过cmd下载:


pip install wget

接着上文,然后就开始趴wget库的源代码,发现wget.download()的定义是支持自定义下载样式的

...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值