爬虫 华为云

本文详细介绍了如何利用Python编程语言,结合华为云的相关API,进行数据抓取和处理。通过实例展示了设置爬虫规则、调用华为云服务、处理反爬机制等关键步骤,帮助读者掌握在实际项目中实施爬虫技术的技巧。
摘要由CSDN通过智能技术生成
from urllib import request
from urllib.request import urlretrieve
from bs4 import BeautifulSoup     #网页解析,获取数据
import re       #正则表达式,进行文字匹配
import urllib.request,urllib.error      #制定URL,获取网页数据
import xlwt     #进行excel操作
import sqlite3  #进行SQLite数据库操作
import json
import os

findLink1 = re.compile(r'<img src="(.*?)">')
findLink2 = re.compile(r'<a href="(.*?)" class="detail-download-button por-btn por-btn-primary por-btn-large">')



def askURL(url):
    head = {
                   #模拟浏览器头部信息,向豆瓣服务器发送消息
        'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Mobile Safari/537.36'
    }
                            #用户代理,表示告诉豆瓣服务器,我们是什么类型的机器、浏览器(本质上是告诉浏览器,我们可以接收什么水平的文件内容)

    request = urllib.request.Request(url,he
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值