我们往往需要采集大量的数据来进行分析,这些信息可以来源于网上,我们可以用爬虫的方法来获取到这些数据。
这里我们创建了一段代码,用我们的百度搜索引擎来搜索我们想要的词条
#这里我们导入request模块
import requests
if __name__=="__main__":
#这里我们指定我们的url,也就是我们的百度网址
url='https://www.baidu.com'
#这里我们使用input获取我们输入的内容
kw=input('enter a word:')
#这里定义我们的请求头,使用请求头可以方式反爬程序识别出我们的爬虫程序。
#因为请求头可以让我们的代码伪装成使用浏览器的正常访问,在文章的后面会介绍怎么查看自己的请求头
headers={
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36'
}
#这里我们使用一个字典类型来将我们要搜索的对象传入。
param={
'query':kw
}
#这里我们使用response来接收我们request获得的网页数据,同时将我们的搜索参数和请求头传入
response=requests.get(url=url,params=param,headers=headers)
#使用我们的page_text将我们返回文件中的text保存下来
page_text=response.text
#将我们的存储的文件命名为我们的搜索的对html,
fileName=kw+'.html'
#将我们获取到的网页进行永久化存储
//创建我们已经命好名的文件,并以写入的方式打开,并且设置我们的编码集为utf-8
with open(fileName,'w',encoding='utf-8') as fp:
fp.write(page_text)
print(fileName,'保存成功')
接下来,我们就会发现在我们的python文件的同级目录下多了一个文件
然后打开我们的文件就能够获取到我们搜索夜阑配队的网页原码了。
接下来我们介绍怎么才能查看到我们自己电脑的请求头。
首先打开我们的谷歌浏览器,在我们的浏览器的输入网址的地方输入about:version
然后咱敲一下回车,就会看到我们电脑浏览器的信息
其中的用户代理这一栏就是我们的请求头
OK,如果你能将上述的代码完成,那么我们的爬虫就已经到了level1的水平。