python爬虫:在搜狗通过关键字获取网页资源

代码如下:

import requests
# 指定url
url = 'https://www.sogou.com/web'
# 输入搜索关键字
keyword =input('enter a key word:')
# UA伪装 
# 浏览器不同但是其代理对象是一致的
headers = {
    'User-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
}
# 将关键字放入到字典当中
params ={
    'query':keyword
}
# 发起get请求
response = requests.get(url=url,params=params,headers=headers)
# 将get请求的数据以字符串的形式存储,再进行utf-8编码,在此之前要设置response的编码方式
response.encoding = 'utf-8'
page_text=response.text
# 持久化存储
with open('./hl.html','w',encoding='utf-8') as fp:
    fp.write(page_text)

结果如下图:

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值