8. Python 第一个爬虫

requests模块

环境安装：pip install requests

使用流程：

• 指定url
• 基于requests模块发送请求
• 获取响应对象中的数据值
• 持久化存储（不是必须的）

import requests

url="https://www.sogou.com/"
response=requests.get(url)
print(response.text)

抓取指定关键词

import requests

url="https://www.sogou.com/web"
headers={
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"
}
kw=input('请输入关键字:')
param={
    'query':kw
}
response=requests.get(url=url,params=param,headers=headers)

with open("f:/"+param.get('query')+".txt","w",encoding='utf-8') as fo:
    fo.write(response.text)
    fo.close()

print(param.get("query"),"保存成功")