爬取某网站图片

这里爬取的目标为jiandan网上的用户分享的随手拍的图片，链接为：http://jandan.net/ooxx

首先，经分析后发现该板块的图片是异步加载的，通过requests库难以获取。因此，利用selenium动态获取目标内容的源代码，再用BeautifulSoup库解析保存即可。

1、首先打开目标链接，煎蛋分析下网站，然后决定用什么方式去获取内容

 

禁止加载JavaScript后，图片则无法显示，并且在XHR里面没有任何内容

基于此，我们发现，该板块内容只有图片是异步加载 的，但图片又是我们想要爬取的，这时用requests库去获取内容的话会比较困难，因此，我们可以用selenium库来获取目标内容。

 

2.selenium简单入门

1）什么是selenium

Selenium 是一个用于浏览器自动化测试的框架，可以用来爬取任何网页上看到的数据。

2）selenium的下载和安装

在终端输入pip install selenium ——> 下载Chromdriver，解压后放在…\Google\Chrome\Application\ ——> 将该目录添加至环境变量

3）使用代码测试

from selenium import webdriver #导入包

driver = webdriver.Chrome()  #打开Chrome浏览器
driver.get('http://www.baidu.com')  #输入url,打开百度首页

如上所示，这段代码可以自动打开百度首页，说明OK

 

 3、开始爬取图片

# 导入必要的包
from selenium import webdriver
from bs4 import BeautifulSoup
import requests

# 打开谷歌浏览器
driver = webdriver.Chrome()
# 输入url，打开煎蛋网首页
driver.get('http://jandan.net')
# 初始化一个引用计数，用于后面的图片简单命名
index = 1

# 定义爬虫方法
def getImage(link_texts):
    # 将index置为全局变量
    global index
    # 通过点击的动作执行翻页
    for i in link_texts:
        # 模拟点击
        driver.find_element_by_link_text(i).click()
        # 解析网页
        html = BeautifulSoup(driver.page_source, 'html.parser')
        # 获取原图的url链接
        links = html.find_all('a', {'class': 'view_img_link'})
        # 遍历当页获得的所有原图链接
        for link in links:
            # 将原图存至当前目录下的jdimg 文件夹，以index命名，后缀名为图片原名的后三位，即jpg或者gif
            with open('jdimg/{}.{}'.format(index, link.get('href')[len(link.get('href'))-3: len(link.get('href'))]), 'wb') as jpg:
                jpg.write(requests.get("http:" + link.get('href')).content)
            print("正在爬取第%s张图片" % index)
            index += 1
# 定义主函数     
def main():
    # 将准备执行的浏览或翻页动作的关键字存入数组
    link_texts = [u'随手拍', u'下一页', u'下一页', u'下一页', u'下一页']
    #开始爬取
    getImage(link_texts)

main()

 

执行后：

 

 打开文件夹jdimg后，可以看到，图片爬取成功：

https://www.cnblogs.com/m-chen/p/10136958.html