python之爬虫request模块

request的简介

1. request模块：python中原生的一款基于昂罗请求的模块，功能强大、操作简单、效率及高。
2. 功能：模拟浏览器发出请求。

request的使用（request模块的使用流程）

• 指定url
• 发起请求
• 获取相应数据
• 持久化存储

爬虫案例一——爬取搜狗页面数据

import requests

#step1：指定url
url = 'https://www.sogou.com/'
#step2：发起请求
#get方法返回一个响应对象
response = requests.get(url = url)
#step3：回去响应数据 text返回的是字符串形式的相应数据
page_text = response.text
print(page_text)
#step4：持久化存储，保存到本地
with open('./sougou.html', 'w', encoding = 'utf-8') as fp:
    fp.write(page_text)
    print("爬取结束！")

爬虫案例二——简单网页采集器

import requests
#UA：user—agent（请求载体的身份标识）
#UA检测：门站的网络服务器会检测对应请求载体身份标识，如果检测到请求的载体身份标识为某一款浏览器
       #说明该请求是一个正常请求。

#UA伪装：让爬虫对应请求的载体身份标识伪装成某一款浏览器
#step1：指定url
url = 'https://www.sogou.com/web'
#UA伪装：将对应的user-agent封装到一个字典中
headers = {
    'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 SLBrowser/9.0.0.10191 SLBChan/12'
}
#处理url携带的参数，封装到字典中
kw = input('enter a word:')
param  = {
    'query': kw
}
#对指定的url发起的请求对应的url是携带参数的，并且请求过程中处理了参数
#step2：发起请求
#get方法返回一个响应对象
response = requests.get(url = url,params=param,headers=headers)
#step3：回去响应数据 text返回的是字符串形式的相应数据
page_text = response.text
#step4：持久化存储，保存到本地
fileName = kw+'.html'
with open(fileName, 'w', encoding = 'utf-8') as fp:
    fp.write(page_text)
    print(fileName, "爬取结束！")

爬虫案例三——百度翻译

import json

import requests
#from bs4 import BeautifulSoup
#UA：user—agent（请求载体的身份标识）
#UA检测：门站的网络服务器会检测对应请求载体身份标识，如果检测到请求的载体身份标识为某一款浏览器
       #说明该请求是一个正常请求。

#UA伪装：让爬虫对应请求的载体身份标识伪装成某一款浏览器
#step1：指定url
post_url = 'https://fanyi.baidu.com/sug'
#UA伪装：将对应的user-agent封装到一个字典中
headers = {
    'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 SLBrowser/9.0.0.10191 SLBChan/12'
}
#处理url携带的参数，封装到字典中,输入想查的单词
word = input('enter a word:')
data  = {
    'kw': word
}
#对指定的url发起的请求对应的url是携带参数的，并且请求过程中处理了参数
#step2：发起请求
#post方法返回一个响应对象
response = requests.post(url = post_url,data=data,headers=headers)
#step3：回去响应数据 json()返回的是obj（如果确认服务器是响应JSON类型的，才可以使用JSON()）
dic_obj = response.json()
print(dic_obj)
#step4：持久化存储，保存到本地
fileName = word+'.html'
fp = open(fileName, 'w', encoding = 'utf-8')
json.dump(dic_obj, fp = fp, ensure_ascii = False)
print(fileName, "爬取结束！")

爬虫案列四——查询肯德基店面信息

import json

import requests
#UA：user—agent（请求载体的身份标识）
#UA检测：门站的网络服务器会检测对应请求载体身份标识，如果检测到请求的载体身份标识为某一款浏览器
       #说明该请求是一个正常请求。

#UA伪装：让爬虫对应请求的载体身份标识伪装成某一款浏览器
#step1：指定url
post_url ='http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
#UA伪装：将对应的user-agent封装到一个字典中
headers = {
    'User-Agent': 'Mozilla / 5.0(WindowsNT10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 90.0.4430.212Safari / 537.36'
}
#处理url携带的参数，封装到字典中,输入想查的单词
keyword = input('enter a address:')
params  = {
    'cname': '',
    'pid': '',
    'keyword': keyword,
    'pageIndex': '1',
    'pageSize': '100',
}
#对指定的url发起的请求对应的url是携带参数的，并且请求过程中处理了参数
#step2：发起请求
#post方法返回一个响应对象
response = requests.post(url = post_url,headers=headers,params=params)
#step3：回去响应数据 json()返回的是obj（如果确认服务器是响应JSON类型的，才可以使用JSON()）

dic_obj = response.json()
print(dic_obj)
#step4：持久化存储，保存到本地
fileName = keyword+'.html'
fp = open(fileName, 'w', encoding = 'utf-8')
json.dump(dic_obj, fp = fp, ensure_ascii = False)
print(fileName, "爬取结束！")