python爬虫入门小案列
作业需求:破解百度翻译
网址:https://fanyi.baidu.com/sug
步骤:
①指定网址
②进行UA伪装
③处理url携带的参数:封装到字典中
④对指定的url发起请求对应的url是携带参数的,并且请求过程中处理了参数
⑤保存爬取数据
附源码:
`
import requests
if __name__ == '__main__':
# UA伪装:将对应的User_Agent封装到一个字典中
headers = {
'User_Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3314.0 Safari/537.36 SE 2.X MetaSr 1.0'
}
url = 'https://www.sogou.com/sie'
# 处理url携带的参数:封装到字典中
kw = input('enter a word:')
param = {
'query': kw
}
# 对指定的url发起请求对应的url是携带参数的,并且请求过程中处理了参数
response = requests.get(url=url, params=param, headers=headers)
page_text = response.text
# 保存爬取数据
fileName = kw + '.html'
with open('F:/' + fileName, 'w', encoding='utf-8') as fp:
fp.write(page_text)
print(fileName, '保存成功!!!')