python批量下载网页文件夹_Python如何实现批量下载网页功能

1

用import代码导入urllib模块，具体代码如下：

import urllib.request

import urllib.parse

2

创建一个类，名字为PiLiangXia，具体代码如下：

class PiLiangXia():

3

接下来在类下面写入相关功能代码，首先确定一个初始的url，具体代码如下：

def __init__(self):

self.url = "https://sou.autohome.com.cn/zonghe?"

4

接下来写发送请求的功能，具体代码如下：

def send_request(self,url,page):

response = urllib.request.urlopen(url)

self.write_file(response.read(),page)

5

由于我们是需要把网页下载到本地，所以我们需要写入文件的功能，具体代码如下：

def write_file(self,content,page):

print("正在保存页数{}".format(page))

with open("car_{}.html".format(page),"wb") as f:

f.write(content)

6

接下来我们完成让用户输入页面，并且构造好url地址的功能，由于是多个页面

这里我们需要分析网页的url地址。具体代码如下：

def start(self):

page = int(input("请输入要下载的页数:"))

for i in range(1,page+1):

q = {"q":"奔驰","pn":page}

res = urllib.parse.urlencode(q,encoding= "gbk")

url_full = self.url + res

self.send_request(url_full,i)

这里的 q = {"q":"奔驰","pn":page} 是构造网页的整体url，提前分析，具体的不同网站会有不同的算法。

7

接下来我们用main函数执行刚刚的代码块功能，具体代码如下：

if __name__ == '__main__':

plx = PiLiangXia()

plx.start()

8

整体代码总结和运行效果：

import urllib.request

import urllib.parse

class PiLiangXia():

def __init__(self):

self.url = "https://sou.autohome.com.cn/zonghe?"

def send_request(self,url,page):

response = urllib.request.urlopen(url)

self.write_file(response.read(),page)

def write_file(self,content,page):

print("正在保存页数{}".format(page))

with open("car_{}.html".format(page),"wb") as f:

f.write(content)

def start(self):

page = int(input("请输入要下载的页数:"))

for i in range(1,page+1):

q = {"q":"奔驰","pn":page}

res = urllib.parse.urlencode(q,encoding= "gbk")

url_full = self.url + res

self.send_request(url_full,i)

if __name__ == '__main__':

plx = PiLiangXia()

plx.start()

END