利用爬虫获取百度搜索引擎上的信息
>>> import requests
>>> keyword='python'
>>> try:
kv={'wd':keyword}
r=requests.get("http://www.baidu.com/s",params=kv)
print(r.request.url)
r.raise_for_status()
print(len(r.text))
except:
print("获取失败")
结果如下:
利用爬虫获取360搜索引擎上的信息
>>> import requests
>>> keyword='python'
>>> try:
kv={'q':keyword}
r=requests.get("http://www.so.com/s",params=kv)
print(r.request.url)
r.raise_for_status()
print(len(r.text))
except:
print("获取失败")
结果如下图: