事实上,嵩天老师的《Python网络爬虫与信息提取》慕课课程已经在之前学完,但是由于当时学的时候缺乏实践经验,所以对知识点的理解并不透彻,经过几次爬虫练习,觉得自己需要再次巩固之前所学的基础知识,正好也可以借此整理一下这部分的代码笔记。
说明:爬虫练习仅为学习,不做商用,如有侵权,烦请联系删除!
首先是对requests库的一个回顾,这一部分涉及的知识主要是运用requests库获取网页源代码信息,这里提供五个简单的网页获取实例:京东商品页面的爬取/亚马逊商品页面的提取/百度搜索关键词提交/网络图片的爬取与存储/手机号码归属地自动查询。
目录
1.京东商品页面的爬取
随意打开一款京东商品,复制其URL链接https://item.jd.com/100021802484.html放到后面的代码中。
获取京东商品页面代码如下:
#微实例1:京东商品页面的爬取
import requests
url='https://item.jd.com/100021802484.html'
try:
headers={'User-agent':'Mozilla/5.0'}
#设定请求头
r=requests.get(url,headers=headers)
#打开京东商品页面链接
r.raise_for_status()
#判断返回状态码是否200,不是则执行except
r.encoding=r.apparent_encoding
#将编码方式设置为页面内容的编码方式
print(r.text[:1000])
#打印网页源代码前1000个字符
except:
print('获取网页信息失败')
以下为爬取结果:
这里需要注意,由于京东设置了一定的反爬机制,python的网页请求会被识别并拒绝