爬虫【二】requests模块

Z_MYM_Z

已于 2023-08-03 16:29:49 修改

阅读量522

点赞数

分类专栏：爬虫文章标签：爬虫 python 开发语言

于 2023-07-28 15:07:17 首次发布

本文链接：https://blog.csdn.net/Z_MYM_Z/article/details/131892271

版权

爬虫专栏收录该内容

4 篇文章 0 订阅

订阅专栏

requests模块
—— 概念：python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。
—— 作用：模拟浏览器发送请求。

requests模块的编码流程

指定url
- UA伪装
- 请求参数的处理
发起请求
获取响应数据
持久化存储

环境安装：

pip install requests

实战编码

一、需求：爬取搜狗首页的页面数据

#— 需求：爬取搜狗首页的页面数据

#import导入requests模块
import requests
if __name__ == "__main__":
    #step 1:指定url
    url = 'https://sogou.com/'
    #step 2:发起请求
    #get方法会返回一个响应对象
    response = requests.get(url=url)   ##格式：requests.get(url,params,kwargs)
    #step 3:获取响应数据.text返回的是字符串形式的响应数据
    page_text = response.text
    print(page_text)
    #step 4:持久化存储
    with open('./sogou.html','w',encoding='utf-8') as fp:
        fp.write(page_text)
    print('爬取数据结束！！！')


###  报错情况：AttributeError: module 'requests' has no attribute 'get'
###          在使用requests模块时，没有找到get这个属性
###  解决方法：File————Settings————Project：...————Python interpret————添加requests模块

二、需求：爬取搜狗指定词条对应的搜索结果页面（简易网页采集器）

搜索指定词条，可得如下url。其中query=python代表我们输入的搜索内容。
在这里插入图片描述删除query后面的内容，可以得到同样的搜索结果页面。这个url就是经过简洁处理后的url。
UA：User-Agent（请求载体的身份标识）

UA检测：门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识为某一款浏览器，说明该请求是一个正常的请求。但是，如果检测到请求的载体身份标识不是基于某一款浏览器的，则表示该请求为不正常的请求（爬虫），则服务器端就很有可能拒绝该次请求。

UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器

import requests
if __name__ == "__main__":
    #UA伪装：将对应的User-Agent封装到一个字典中
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
    }
    # url复制过来后query后面部分可能变成乱码，在requests模块中也可以改为中文
    url = 'https://www.sogou.com/web'
    #step 1:处理url携带的参数：封装到字典中
    kw = input('enter a word:')   #将搜索词赋值给kw
    param = {
        'query':kw
    }
    #字典创建后，可删除url中的query部分 ?可删可不删

    #step 2:对指定的url发起的请求对应的url是携带参数的，并且请求过程中处理了参数
    response = requests.get(url=url,params=param,headers=headers)
    #step 3:获取响应数据
    page_text = response.text
    #step 4:持久化存储
    fileName = kw+'.html'
    with open(fileName,'w',encoding='utf-8') as fp:    #open参数1要指定磁盘文件的路径和名称
        fp.write(page_text)
    print(fileName,'保存成功！！！')

三、需求：破解百度翻译（爬取页面局部的文本数据）
在百度翻译页面打开抓包工具。选择XHR，然后输入需要翻译的单词。
在这里插入图片描述每一个字符会发起一个ajax请求，且为POST请求。选择sug进行查看。找到携带对应参数的数据包，即为我们所需要的ajax数据包，复制该数据包所对应的url。（Response中存储的是服务器端响应回来的数据）
在Content-Type处可以发现响应数据是一组json数据
在这里插入图片描述

import requests
import json
if __name__ == "__main__":
    #指定url
    post_url = 'https://fanyi.baidu.com/sug'
    #进行UA伪装(在请求之前）
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
    }
    #step 1:post请求参数处理（同get请求一致）
    word = input('enter a word:')
    #处理url携带的参数：封装到字典中
    data = {
        'kw':word
    }
    #step 2:请求发送
    response = requests.post(url=post_url,data=data,headers=headers)     #post(url,data,json,kw...
    #step 3:获取响应数据:json()方法返回的是obj（对象）  （如果确认响应数据是json类型的，才可以使用json（）
    dic_obj = response.json()    #response.text获取的是字符串数据

    #step 4:进行持久化存储
    fileName = word+'.json'
    fp = open(fileName,'w',encoding='utf-8')      #生成的文本文件的存储位置
    json.dump(dic_obj,fp=fp,ensure_ascii=False)   #dump(obj,fp,skipkeys,ensure...a...
    #ensure_ascii:拿到的字符串是中文，不能用ascii码进行编码
    print('over!!!')

四、需求：爬取豆瓣电影分类排行榜 https://movie.douban.com/中的电影详情数据
滚轮划到底部，则发起一组ajax请求，页面局部刷新。查看XHR，发起GET请求，且携带五个参数，请求得到的是json数据。参数最好都用字典的形式进行封装。
在这里插入图片描述

import requests
import json
if __name__ == "__main__":
    #复制过来的url，?后面的都是参数
    url = 'https://movie.douban.com/j/chart/top_list'
    param = {
        'type': '24',
        'interval_id': '100:90',
        'action':'',
        'start': '0',   #从库中的第几部电影去取（可自己修改）
        'limit': '20',   #一次请求取出的个数（可修改）
    }
    #UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
    }
    #请求发送
    response = requests.get(url=url,params=param,headers=headers)
    #获取响应数据
    list_data = response.json()
    #持久化存储
    fp = open('./douban.json','w',encoding='utf-8')
    json.dump(list_data, fp=fp, ensure_ascii=False)
    print('over!!!')

注：若打开生成的json文件内容都在第一行，可以百度搜索json校验格式化数据，将内容复制过去，即可完成格式转换。
在这里插入图片描述
五、需求：爬取肯德基餐厅查询http://www.kfc.com.cn/kfccda/index.aspx中指定地点的餐厅数据
关键字查询后，网址不变，说明发起的是ajax请求，页面发生局部刷新。

import requests
import json

if __name__ == '__main__':
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
    }
    post_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
    word = input('enter a word:')
    param = {
        'cname':'',
        'pid':'',
        'keyword': word,
        'pageIndex': '1',
        'pageSize': '20',
    }
    response = requests.post(url=post_url,params=param,headers=headers)
    page_text = response.text
    fileName = word + '.html'
    with open(fileName, 'w', encoding='utf-8') as fp:
        fp.write(page_text)
    print(fileName, '保存成功！！！')