python爬虫之requests（2）

python爬虫之requests（2）

实战：制作简易网页采集器（获取到的是全部网页的内容）
1.处理参数
封装到字典当中
kw=input(“请输入搜索词：”)
dict1={“wd”:kw}
2.存储时采用动态的名字
filename=kw+’.html’
再将filename传入open函数当中

运行代码：

import requests
#1.指定URL
url = 'https://www.baidu.com/s?'
#2.UA伪装
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"
}
#处理参数
kw = input("请输入搜索词:")
dict1 ={"wd":kw}
#3.发起请求（带参数）
#4.获取响应数据
response = requests.get(url=url,params=dict1,headers=headers)
page_text = response.text
#5.持久化存储
filename = kw + '.html'
with open(filename,'w',encoding="utf-8") as fp:
    fp.write(page_text)