Python爬虫学习第二章-2-使用requests模块实现网页采集器

Python爬虫学习第二章-2-使用requests模块实现网页采集器

这一节是使用requests进行爬取搜狗指定词条对应的搜索结果页面，也就是网页采集器

1、首先介绍反爬机制与反反爬策略：
  反爬机制与反反爬策略：UA（User-Agent：请求载体的身份标识。用浏览器发起请求的话，那么当前的请求载体的身份标识是浏览器；通过requests.get方法也可以发起请求， 此时请求载体的身份标识不再是浏览器，而是爬虫程序）

• UA检测：因为门户网站的服务器会检测对应的请求载体的身份标识，如果检测到请求的载体的身份标识为某一款浏览器，则说明该请求是正常请求；但是如果检测到请求的载体的身份标识不是基于浏览器，则表示该请求不是正常的请求（即爬虫），此时服务器端很有可能拒绝该次请求。

• UA伪装：是一种反反爬策略。所以为了每次都能够请求成功，爬虫程序需要进行UA伪装这种反反爬策略，让爬虫对应的请求载体身份标识伪装成一款浏览器。
  做法：将对应的User-Agent封装到一个字典中。

UA伪装必须应用在后期的每个案例当中

2、网页采集器的代码：

import requests
if __name__=="__main__":
    #step1：指定url并进行UA伪装
        #进行UA伪装：将对应的User-Agent封装到一个字典中,headers参数作用在get方法中，是get方法的参数,此处用的User-Agent是谷歌浏览器，也就是伪装成了谷歌浏览器
    url = 'https://www.sogou.com/web?'
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'
    }

    #处理url携带的参数：将url所携带的参数封装到字典中
    kw = input('enter a word:')
    param = {
        'query':kw
    }

    #step2：发起请求
    #对指定的url发起的请求对应的url是携带参数的，并且的请求过程中处理了参数
    response=requests.get(url = url,params=param,headers=headers) #params表示参数，动态拼接参数，headers表示UA伪装，此处是伪装成谷歌浏览器

    #step3：获取数据
    page_text = response.text

    #step4:持久化存储  注意存储代码的写法
    filename = kw+'.html'
    with open(filename,'w',encoding='utf-8') as fp:
        fp.write(page_text)
    print(filename,'保存成功')

  注意with open的使用：with open用来打开本地文件的，处理完文件后，会自动关闭文件，无需手动书写close()。

  这里查阅了一下几篇博文：
“open和with open的用法，你弄明白了吗?”
“with open()的使用方法”
“with open使用方法”