python下载网页中的pdf文件_Python3爬虫下载pdf（一）

Python3爬虫下载pdf（一）

最近在学习python的爬虫，并且玩的不亦说乎，因此写个博客，记录并分享一下。

需下载以下模块

bs4 模块

requests 模块

一、源码

"""

功能：下载指定url内的所有的pdf

语法：将含有pdf的url放到脚本后面执行就可以了

"""

from bs4 import BeautifulSoup as Soup

import requests

from sys import argv

try:

##用于获取命令行参数，argv[0]是脚本的名称

root_url = argv[1]

except:

print("please input url behind the script!!")

exit()

##获得含有所有a标签的一个列表

def getTagA(root_url):

res = requests.get(root_url)

soup = Soup(res.text,'html.parser')

temp = soup.find_all("a")

return temp

##从所有a标签中找到含有pdf的，然后下载

def downPdf(root_url,list_a):

number = 0

##如果网站url是以类似xx/index.php格式结尾，那么只取最后一个/之前的部分

if not root_url.endswith("/"):