嵩天《Python网络爬虫与信息提取》实例1：Requests库网络爬虫实战5个实例

事实上，嵩天老师的《Python网络爬虫与信息提取》慕课课程已经在之前学完，但是由于当时学的时候缺乏实践经验，所以对知识点的理解并不透彻，经过几次爬虫练习，觉得自己需要再次巩固之前所学的基础知识，正好也可以借此整理一下这部分的代码笔记。

说明：爬虫练习仅为学习，不做商用，如有侵权，烦请联系删除！

首先是对requests库的一个回顾，这一部分涉及的知识主要是运用requests库获取网页源代码信息，这里提供五个简单的网页获取实例：京东商品页面的爬取/亚马逊商品页面的提取/百度搜索关键词提交/网络图片的爬取与存储/手机号码归属地自动查询。

目录

1.京东商品页面的爬取

2. 亚马逊商品页面的爬取

3.百度搜索关键词提交

4.网络图片的爬取与存储 

5.手机号码归属地自动查询

 

1.京东商品页面的爬取

随意打开一款京东商品，复制其URL链接https://item.jd.com/100021802484.html放到后面的代码中。

​

获取京东商品页面代码如下：

#微实例1：京东商品页面的爬取
import requests
url='https://item.jd.com/100021802484.html'
try:
    headers={'User-agent':'Mozilla/5.0'}
    #设定请求头
    r=requests.get(url,headers=headers)
    #打开京东商品页面链接
    r.raise_for_status()
    #判断返回状态码是否200，不是则执行except
    r.encoding=r.apparent_encoding
    #将编码方式设置为页面内容的编码方式
    print(r.text[:1000])
    #打印网页源代码前1000个字符
except:
    print('获取网页信息失败')

以下为爬取结果：

​

这里需要注意，由于京东设置了一定的反爬机制，python的网页请求会被识别并拒绝