python爬虫爬取网上的照片

                这里写一个python爬虫爬取国家地理上的一张图片

        最近在网上刚学了python爬虫爬取网上的图片，所以将其记录下来。有时我们在网页上看到的图片是就是一个文件，所以可以通过爬虫爬取下来，保存到电脑之中。

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import requests
import os
url='http://image.nationalgeographic.com.cn/2017/0309/20170309042607837.jpg'
root="D://picture//"#建立一个目录，可以将图片保存到其中
path=root+url.split('/')[-1]#将图片的原名截图下来
try:
    if not os.path.exists(root):#检查一下我们建立的目录是本就否存在
        os.mkdir(root)#如果不存在建立一个目录
    if not os.path.exists(path): 
        r=requests.get(url)  
        print r.status_code#打印状态码
        with open(path,'wb') as f:#打开目录，并将文件写入其中
            f.write(r.content)
            f.close#关闭文件
            print("文件保存成功")
except:
    print '出错了'

       可以看一下结果：

        再看一下我们建立文件夹中的文件：

      开打时发现出现问题，于是尝试用Notepad++打开：

         

          这个结果表明，我们爬取的网站对爬虫是拒绝访问的，服务器一般是服务人的而非爬虫，一些网站可能会处于安全等一系列因素的考虑，从而拒绝爬虫的访问，但是我们可以改变下面的语句

 r=requests.get(url)  

从而做到成功访问。我们可以看看我们访问国家地理网站时给国家地理发送的信息：

            

          从以上返回信息可看出，我们访问国家地理网站时就告诉该网站我们是爬虫，而非浏览器。为了成功访问，我们可以改变User-agent的值，让该网站以为是浏览器的访问，这样便可成功访问。

          改变的总代码为：

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import requests
import os
url='http://image.nationalgeographic.com.cn/2017/0309/20170309042607837.jpg'
root="D://picture//"#建立一个目录，可以将图片保存到其中
path=root+url.split('/')[-1]#将图片的原名截图下来
kv={'user-agent':'Mozilla/5.0'}#建立字典，改变user-agent的参数
try:
    if not os.path.exists(root):#检查一下我们建立的目录是本就否存在
        os.mkdir(root)#如果不存在建立一个目录
    if not os.path.exists(path): 
        r=requests.get(url,headers=kv)  
        print r.status_code#打印状态码
        with open(path,'wb') as f:#打开目录，并将文件写入其中
            f.write(r.content)
            f.close#关闭文件
            print("文件保存成功")
except:
    print '出错了'

       我们可以发现返回的状态码为200，表示成功爬取到了。我们再看看我们建立目录中保存的文件：

       

         

                                   程序成功运行了！！！