爬虫常用模块--requests爬虫[头歌题解]

最新推荐文章于 2024-09-04 17:19:43 发布

Moon_K+rery

最新推荐文章于 2024-09-04 17:19:43 发布

阅读量2k

点赞数 6

分类专栏：头歌实践题解文章标签：爬虫 python pycharm

本文链接：https://blog.csdn.net/qq_27159935/article/details/136533457

版权

头歌实践题解专栏收录该内容

5 篇文章 3 订阅

订阅专栏

本文介绍了使用Pythonrequests库进行基础和进阶操作，包括GET请求、设置请求头、创建Session以管理会话，以及处理网页编码，旨在帮助读者掌握数据采集和网络爬虫的基本技巧。

摘要由CSDN通过智能技术生成

题目来源：头歌平台------数据采集与网络爬虫
下述题解均通过测试，如果小伙伴有出现测试不通过的情况，大概是原题出现变化或是编码时出现漏缺，答案仅供参考，祝大家一通百通。

第1关：requests 基础

import requests


def get_html(url):
    '''
    两个参数
    :param url:统一资源定位符,请求网址
    :param headers:请求头
    :return:html
    '''
    
    # ***************** Begin ******************** #

    # 补充请求头
    
    header = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/"
                  "537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/ 537.36"}
                  
    # get请求网页
    
    response = requests.get(url,header)
    
    # 获取网页信息文本
    
    response.encoding = "utf-8"
    html = response.text
    
    # ***************** End ******************** #
    return html

第2关：requests 进阶

import requests


def get_html(url):
    '''
    两个参数
    :param url:统一资源定位符,请求网址
    :param headers:请求头
    :return html 网页的源码
    :return sess 创建的会话
    '''
    
    # ***************** Begin ******************** #
    
    # 补充请求头

    headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/"
                  "537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/ 537.36"}

    # 创建Session, 并使用Session的get请求网页

    sess = requests.session()
    response = sess.get(url,headers=headers)

    # 获取网页信息文本

    response.encoding = "utf-8"
    html = response.text

    # ****************** End ********************* #
    return html, sess