Python3.7 爬取彼岸桌面(2021-6-27 21:39:58)

问题描述: 昨天写了一个粗糙的爬取风景的 python ,今天写个稍微好一点的爬取彼岸桌面的代码

# -*- coding=utf-8 -*-
# 1: 引包
import time
import urllib.request   # url 请求
import re   # 正则匹配需要的内容(图片)
import os   # OS 写入文件(二进制写入成为图片)

'''
    因为上次用最简单,最粗糙的代码实现了单个栏目的彼岸桌面的下载,这次用比较好一点的代码逻辑去实现该代码
    把功能分类
'''

rootUrl = "http://www.netbian.com"
browserAgent = {
   "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36" }   # 全局浏览器标识(AGENT 代理)


def getResponseHandle(url):     # 拿到请求句柄
    responseHandle = urllib.request.Request(url, headers=browserAgent)  # 设置请求 header
    response = urllib.request.urlopen(responseHandle)
    return response


def getHttpCode(url):     # 得到允许请求的链接
    response = getResponseHandle(url)
    if response.getcode() == 200:
        print(url + " 允许访问")
        return url
    else:
        print(url + " 访问失败")


def getContent(url):            # 得到请求内容
    response = getResponseHandle(url)
    content = response.read().decode("GBK")
    print(url + " 1920 * 1080的次链接获取完成。")
    return content


def getReOnceContent
  • 2
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 8
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值