网络爬虫之Requests实战（3）

一、爬取京东商品

话不多说直接上代码

import requests
url="https://item.jd.com/2967929.html"
try:
    r = requests.get(url)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[:1000])#截取前1000个字符
except:
    print("爬取异常")

运行结果如下

二、亚马逊商品页面爬取

这里不同于第一个例子的是，多了个headers参数，我们不伪装user-agent，爬取不到正确的亚马孙网页。，这个大家可以自己尝试下。

import requests
url = "http://www.amazon.cn/gp/product/B01M8L5Z3Y"
#Mozilla/5.0就是告诉服务器我用的正规的浏览器
hd={'user-agent':'Mozilla/5.0'}
try:
    r=requests.get(url,headers = hd)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    #print(r.request.headers)
    print(r.text[1000:2000])
except:
    print("爬取异常")

三、百度360搜索关键词提交

给出百度搜索的全代码（只打印了搜索内容的大小），360的和百度的类似只需要把wd改成q，把url改成360搜索对应的url就可以了

url="http://www.baidu.com"
keyword = "Python"
kv={'wd':keyword}
try:
    r = requests.get(url,params=kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.request.url)
    print(len(r.text))
except:
    print("爬取异常")

四、网络图片的爬取与存储

简单版代码

import requests
#保存的位置
path = "D:\Python/a.jpg"
url = "http://image.nationalgeographic.com.cn/2017/0211/20170211061910157.jpg"
r = requests.get(url)
#将二进制格式保存为文件
with open(path,'wb') as f:
    f.write(r.content)
    f.close()

对代码进行优化
实现一个功能，方法有很多，但是代码的稳定性就很重要了

import requests
import os
#保存的根目录
root = "D://Python//"
url = "http://image.nationalgeographic.com.cn/2017/0211/20170211061910157.jpg"
#根目录加url里最后一个/后面的内容，其实就是图片的名字(-1就是最后一个的意思)
path = root + url.split('/')[-1]
try:
    #判断当前根目录是否存在，如果不存在就创建这样的根目录
    if not os.path.exists(root):
        os.mkdir(root)
    #判断文件是否存在，如果不存在，则通过requests.get方式从网上获取文件
    if not os.path.exists(path):
        r = requests.get(url)
        #因为图片视频不是字符串方式能显示的，所以只能用b的方式来，b表示byte类型，w表示只写模式
        with open(path,'wb') as f:
            f.write(r.content)
            f.close()
            print('文件保存成功')
    else:
        print('文件已存在')

文件权限w,r，w+,r+,a,a+;如果有兴趣的，可以看一些这篇博客
https://blog.csdn.net/beifangdefengchuilai/article/details/79592454

五、IP地址归属地的自动查询

ip183网站，可以查询IP

import  requests
url = "http://m.ip138.com/ip.asp?ip="
try:
    r = requests.get(url+'202.204.80.112')
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    #[-500:]表示最后500个字符
    print(r.text[-500:])
except:
    print("爬取失败")