python 3.7爬取彼岸风景栏桌面(2021年6月26日21:21:2)

叫我福建

于 2021-06-26 21:25:06 发布

阅读量85

点赞数

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/qq_38192709/article/details/118254716

版权

本文介绍了使用Python 3.7进行简单网页图片爬取的方法，从单张图片到整个栏目，详细展示了最基础的爬虫代码实现。在2021年6月26日21:23:35，作者完成了无需登录验证的爬取过程。

摘要由CSDN通过智能技术生成

问题描述：从试试一张图片的下载，到单页的图片下载，到单个栏目的下载(代码如下)
基本简单，最粗糙的代码

# 1： 引包
import time
import urllib.request
import re
import os

# 2： 请求得到响应
rootURL = "http://www.netbian.com"
url = "http://www.netbian.com/fengjing/"
response = urllib.request.urlopen(url)

# 3： 获得状态码
print(response.getcode())

# 4: 获取内容并编码
content = response.read().decode("GBK")
imgUrlList = re.finditer('(?<=(<li><a href=")).*?(?=")', content)

urlArr = []
insertStr = "-1920x1080.htm"
for url in imgUrlList:  # 把每张图片的 1920 * 1080 的链接放进数组
    url = url.group()
    if url.find("desk") > 0:
        url = rootURL + url
        tempUrl = url.split(".htm")
        tempUrl.insert(1, insertStr