python爬虫requests实战_03 Python爬虫之Requests网络爬取实战

实例1：京东商品页面的爬取

实例1：京东商品页面的爬取

https://item.jd.com/2967929.html

import requests

url = "https://item.jd.com/2967929.html"

try:

r = requests.get(url)

print(r.status_code) # 200

print(r.encoding)

r.raise_for_status()

r.encoding = r.apparent_encoding

print(r.text[:1000])

except:

print("爬取失败")

实例2：亚马逊商品页面的爬取

实例2：亚马逊商品页面的爬取

https://www.amazon.cn/gp/product/B01M8L5Z3Y

该网站通过对来源审查做了限制，因此需要修改头部信息，伪装成浏览器对网站进行数据的爬取。

import requests

url = "https://www.amazon.cn/gp/product/B01M8L5Z3Y"

try:

r = requests.get(url)

print(r.status_code) # 503 说明访问失败

print(r.encoding) # ISO-8859-1

r.encoding = r.apparent_encoding # 修改编码

print(r.status_code) # 503 说明访问失败

# 可能是通过来源审查对网络爬虫采取了限制

print(r.request.headers) # 查看 'User-Agent': 'python-requests/2.22.0'

# 更改头部信息，伪装成浏览器，修改User-Agent

kv = {"user-agent" : "Mozilla/5.0"}

r = requests.get(url, headers = kv) # 关键字实参

print(r.status_code) # 再次查看状态码，发现已经成功 200

print(r.text[:1000])

except:

print("爬取失败")

实例3：百度搜索关键字提交

import requests

try:

kv = {"wd": "Python"}

r = requests.get("http://www.baidu.com/s", params=kv) # url中的参数

print(r.request.url)

r.raise_for_status()

print(len(r.text))

except:

print("爬取失败")

实例4：IP地址归属地的自动查询

iP138网站 查询IP地址归属地http://m.ip138.com/ip.asp?ip=ipaddress

import requests

url = "http://m.ip138.com/ip.asp?ip=" # iP138网站请求数据的前半部分

idAddr = "211.70.176.3" # 需要查询的IP地址

try:

r = requests.get(url+idAddr)

r.raise_for_status()

r.encoding = r.apparent_encoding

print(r.text[-1000:])

except:

print("爬取失败")