爬虫自学day2 :requests实战之页面采集器

URL:
https://www.sogou.com/web?query=卫庄&_asf=www.sogou.com&_ast=&w=01019900&p=40040100&ie=utf8&from=index-nologin&s_from=index&sut=2336&sst0=1604416403887&lkt=0%2C0%2C0&sugsuv=1542960053614760&sugtime=1604416403887

只有query是核心的，后面的参数可以不要。

URL简洁处理:https://www.sogou.com/web?query=%E5%8D%AB%E5%BA%84

URL变成乱码，实际上使用中文也是可以的。
将这个关键字写成动态的，如果只把卫庄写死到url中，那么我们只能得到卫庄这一词条的数据。

第一步：指定url:
如何设置成动态参数？
处理url携带的参数：
封装到字典中

if __name__ == "__main__":
    url='https://www.sogou.com/web'
    #处理url携带的参数：封装到字典中
    #录入一个关键词（即原定词条中的卫庄）
    #删掉原url中的query，现在变成动态的
    '''
    当前URL中携带一组参数为query，如果携带多组参数，
    每组参数都要作用在字典当中成为字典中的一组键值。
    '''
    kw = input('enter a word:')
    param = {
            'query':kw
            }

第二步：发起请求:

    #对指定的url发起的请求对应的url是携带参数的，并且请求过程中    处理了参数
    #将动态的参数用字典封装赋给了get里的params
    response = requests.get(url=url,params=param)

第三步：获取响应数据:

   page_text = response.text
    

第四步：持久化存储:

    filename = kw+'.html'
    with open(filename,'w',encoding='utf-8') as fp:
        fp.write(page_text)
    print(filename,'保存成功!!!')

反爬机制：
UA伪装
UA：Use-Agent （请求载体的身份标识）
直接访问url时载体是当前的浏览器，利用requests请求url是载体是我们当前的爬虫程序。

所以UA检测指的是：门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识为某一款浏览器，意味着当前的请求是一个正常的用户发起的正常请求。服务器端不会拒接。但是，如果检测带载体身份标识不是基于某款浏览器的，则表示该请求为不正常请求（爬虫），服务器端很有可能拒绝该次请求。
查看载体身份标识，当前谷歌浏览器：
如果是爬虫程序身份标识就不是这个了。

为了成功，那么爬虫程序一定要进行UA伪装（让爬虫对应的请求载体伪装成某一款浏览器）。

怎么伪装？将对应的User-Agent封装到一个字典中

    #UA伪装：将对应的User-Agent封装到一个字典中
    headers = {
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36'
            }

然后让他作用到爬虫程序发起的请求当中：

#头信息被指定成headers字典，载体身份标识伪装
    response = requests.get(url=url,params=param,headers=headers)

运行：

卫庄.html：

完整代码：

# -*- coding: utf-8 -*-
"""
Created on Tue Nov  3 23:20:37 2020

@author: 1
"""

import requests
if __name__ == "__main__":
    url='https://www.sogou.com/web'
    #处理url携带的参数：封装到字典中
    #录入一个关键词（即原定词条中的卫庄）
    #删掉原url中的query，现在变成动态的
    '''
    当前URL中携带一组参数为query，如果携带多组参数，
    每组参数都要作用在字典当中成为字典中的一组键值。
    '''
    
    #UA伪装：将对应的User-Agent封装到一个字典中
    headers = {
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36'
            }
    kw = input('enter a word:')
    param = {
            'query':kw
            }
    #对指定的url发起的请求对应的url是携带参数的，并且请求过程中处理了参数
    #将动态的参数用字典封装赋给了get里的params
    #头信息被指定成headers字典，载体身份标识伪装
    response = requests.get(url=url,params=param,headers=headers)
    page_text = response.text
    filename = kw+'.html'
    with open(filename,'w',encoding='utf-8') as fp:
        fp.write(page_text)
    print(filename,'保存成功!!!')