2021-10-13爬虫requests总结

#requests模块
#网络请求的两个模块：urllib模块；requests模块（模拟浏览器发请求）
#如何使用：指定URL；发起请求；获取响应数据；持久化存储

#requests模块

1.#需求：爬取搜狗首页的页面数据

url='  网址 '

response=requests.get(url=url)

page_text(或其他名称）=response.text

with open('./sogou.html','w',encoding='utf-8')as fp:
    fp.write(page_text)

#需求：爬取搜狗首页的页面数据
import requests
url='https://www.sogou.com/'
response=requests.get(url=url)
page_text=response.text
print(page_text)
with open('./sogou.html','w',encoding='utf-8')as fp:
    fp.write(page_text)
print('爬取数据结束')   

2.# 搜狗指定词条对应的搜索结果页面，简易网页采集器
#UA伪装
#UA：User_Agent(请求载体的身份标识)

有参数使用字典形式封装

headers={'user-agent':'   '}

url='