问题描述: 昨天写了一个粗糙的爬取风景的 python ,今天写个稍微好一点的爬取彼岸桌面的代码
# -*- coding=utf-8 -*-
# 1: 引包
import time
import urllib.request # url 请求
import re # 正则匹配需要的内容(图片)
import os # OS 写入文件(二进制写入成为图片)
'''
因为上次用最简单,最粗糙的代码实现了单个栏目的彼岸桌面的下载,这次用比较好一点的代码逻辑去实现该代码
把功能分类
'''
rootUrl = "http://www.netbian.com"
browserAgent = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36" } # 全局浏览器标识(AGENT 代理)
def getResponseHandle(url): # 拿到请求句柄
responseHandle = urllib.request.Request(url, headers=browserAgent) # 设置请求 header
response = urllib.request.urlopen(responseHandle)
return response
def getHttpCode(url): # 得到允许请求的链接
response = getResponseHandle(url)
if response.getcode() == 200:
print(url + " 允许访问")
return url
else:
print(url + " 访问失败")
def getContent(url): # 得到请求内容
response = getResponseHandle(url)
content = response.read().decode("GBK")
print(url + " 1920 * 1080的次链接获取完成。")
return content
def getReOnceContent