Python爬虫之requests模块简介

想要学习爬虫，首先需要知道爬虫大致步骤

首先需要指定爬虫对象的URL，即网站，就像你浏览网页，也是需要打开URL；

第二步就是对该URL发起请求，比如常用的get请求；

第三步就是获取响应数据；

学习数据解析之后第四步就是数据解析，即对相应对象进行源码分析，获得有价值的；

第五步持久化存储。

1.这里以爬取搜狗搜索首页为例

import requests  # 首先需要导入requests模块
if __name__ == "__main__":
	# 1指定URL
	url = 'https://www.sogou.com/'
	# 2.发起请求，get方法会返回一个响应对象
	response = requests.get(url)
    # 3.获取响应数据.text返回的是字符串形式的响应数据
    page_text = response.text
    print(page_text)
    # 4.持久化存储
    with open(r'D:\python_vscode\PY文件\爬虫\qq.html', 'w',
              encoding='utf-8') as fp:
        fp.write(page_text)
    print("爬取数据结束！！！")
	

2.经常会遇到的是get请求发起之后没有返回，这是就需要进行UA伪装

headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36 Edg/83.0.478.58'
    }

此处的User-Agent是从浏览器的检查中提取的

3.有时也需要字典封装关键词，例如获取某一个关键词搜索结果

 kw = input('enter a word:')
    param = {
        'query': kw
    }

此时的get请求就变成了这样

response = requests.get(url=url, params=param, headers=headers)

4.当然requests的方法不止get一个，常用的还有post等，可以去了解一下post，这里就不在细说。

5.爬虫时还有可能遇到一种情况，那就是想要获取的内容分页，比如一般小说可能会按章节分页，豆瓣电影会按每页固定数量内容分页，这时就需要我们仔细观察它们不同页码的URL，这里以豆瓣电影top250为例，第一页url=‘https://movie.douban.com/top250’，第二页url=‘https://movie.douban.com/top250?start=25&filter=’， 第三页url=‘https://movie.douban.com/top250?start=50&filter=’， 我们发现不同的只是start值，于是我们就可以这么设定url

urls = ['https://movie.douban.com/top250?start='+str(n)+'&filter=' for n in range(0, 250, 25)]

然后后面跟一个for循环

for url in urls:
	# 后面内容就可以参考上面了

时间关系，今天requests模块就写到这吧，具体详细内容参考官方文档。