python爬虫之requests篇

#最近在学爬虫，把学习过程做个记录，也方便自己以后查看。
##二、requests篇
*requests模块：python中原生的一款基于网络请求的模块。
作用：模拟浏览器发请求。
如何使用：（requests模块的编码/使用流程）
   -指定url
      -UA伪装
      -请求参数的处理
   -发起请求
   -获取响应数据
   -持久化存储
环境安装：pip install requests
（Pycharm安装教程:https://www.runoob.com/w3cnote/pycharm-windows-install.html）
案例：

#-需求：爬取搜狗首页的页面数据
import requests
if __name__ == "__main__":
    #step 1:指定url
    url = 'https://www.sogou.com/'
    #step 2:发起请求
    #get方法会返回一个响应对象
    response = requests.get(url=url)
    #step 3:获取响应数据，text返回的是字符串形式的相应数据
    page_text = response.text
    print(page_text)
    #step 4:持久化存储
    with open('./sougou.html','w',encoding='utf-8') as fp:
        fp.write(page_text)
    print('爬取结束！')

实战巩固
1、爬取搜狗指定词条对应的搜索结果页面（简易网页采集器）

#UA:User-Agent（请求载体的身份标识）
#UA检测：门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识为某一款浏览器，
# 说明该请求是一个正常的请求。但是，如果检测到请求的载体身份标识不是基于某一款浏览器的，则表示该请求是非正常请求（爬虫），
# 则服务器端就很有可能拒绝该请求
#UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器
import requests
if __name__ == "__main__":
    #UA伪装：将对应的User-Agent封装到一个字典中
    headers = {
   
        'User-Agent':'（这里放自己浏览器的UA就行啦）'
    }
    url = 'https://www.sogou.com/web'
    #处理url携带的参数，封装在字典中
    kw = input('enter a word:')
    param = {
   
        'query':kw
    }
    #对指定的url发起的请求对应的url是携带参数的，且请求过程中处理了参数
    response = requests.get(url=url,params=param,headers=headers)

    page_text = response.text
    fileName = kw+'.html'
    with open