爬虫/创建网页采集器

#指定url
#发起请求
#获取响应数据
#持久化存储
import requests  #导入requests模块
headers={'User-Agent':Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.114 Safari/537.36 Edg/103.0.1264.49}
url='https://www.sougou.com/web' #https://www.baidu.com/web？query=周杰伦（周杰伦为搜索内容）
#处理url所携带的参数：封装到字典中，且此时关键词为动态的
kw=input('enter a word:') #录入一个关键词
param={'query':kw} #query后为关键词（残数）
#对指定url发起的请求对应的url是携带参数的，在请求过程中处理了参数
response=requests.get(url=url,params=param,headers=headers)
page_text=response.text
filename=kw+'.html' #kw为关键字
with one(filename,'w',encoding='utf-8') as fp:
    fp.write(page_text)
    print(filename,'保存成功！！！！！')

    #反爬机制UA检查：服务器检测载体身份标识，若载体身份是某一浏览器，则说明该请求是正常请求
    #若不是基于浏览器，则表示该请求为不正常请求（爬虫），服务器会拒绝该次请求
    #UA：user-agent（请求载体的身份标识）
    #UA伪装：让爬虫对应的请求载体伪装为浏览器