selenium攻占煎蛋妹子图

最新推荐文章于 2021-01-17 14:58:42 发布

tianyuan233

最新推荐文章于 2021-01-17 14:58:42 发布

阅读量1.7k

点赞数 2

分类专栏： python 文章标签： python selenium 库

本文链接：https://blog.csdn.net/t1anyuan/article/details/78644814

版权

python 专栏收录该内容

21 篇文章 0 订阅

订阅专栏

python 版本 3.5
依赖库：

selenium
beautifulsoap4
lxml
requests

使用selenium的原因是
requests库在实际操作的时候，发现请求返回的内容里面并没有图片的链接：

<p> <img src="//img.jandan.net/img/blank.gif" onload="jandan_load_img(this)"/> <span class="img-hash">6fadiP6jpEOinbyOjDMf5F1MT01mhMHpB0oC562st3bqZwhPR+OhO+YvbyrNqKyKMmBNGSDh7Gk0I+B+zcKmrgCm3n1M0bXlNjhOjdDps9/hCO039Uo2+w</span> </p>

而在chrome中使用F12去可以看到图片链接，看来这个页面需要调用js方法才会返回图片的url

那我们只好使用 Selenium+Phantomjs 来实现需求

第一步

导入依赖库：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import requests
from bs4 import BeautifulSoup

第二步

使用Selenium+Phantomjs爬取完整的页面源码,用bs解析网页，定位元素

path='D:/jd_image/'
urls = ["http://jandan.net/ooxx/page-{}#comments".format(str(i)) for i in range(1, 50)]
img_url=[]
driver = webdriver.PhantomJS(executable_path=r'D:\phantomjs-2.1.1-windows\bin\phantomjs.exe')
for url in urls:
    driver.get(url)
    data = driver.page_source
    soup = BeautifulSoup(data, "lxml")  #解析网页
    images = soup.select("a.view_img_link")  #定位元素
    for i in images:               
        z=i.get('href')
        if str('gif') in str(z):
           pass
        else:
            http_url = "http:" + z
            img_url.append(http_url)
            #print("http:%s" % z)

第三步

下载图片

for j in img_url:
        r=requests.get(j)
        print('正在下载 %s......' % j)
        with open(path+j[-15:],'wb')as jpg:
            jpg.write(r.content)

完整代码：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import requests
from bs4 import BeautifulSoup

path='D:/jd_image/'
urls = ["http://jandan.net/ooxx/page-{}#comments".format(str(i)) for i in range(1, 50)]
img_url=[]
driver = webdriver.PhantomJS(executable_path=r'D:\phantomjs-2.1.1-windows\bin\phantomjs.exe')

for url in urls:
    driver.get(url)
    data = driver.page_source
    soup = BeautifulSoup(data, "lxml")
    images = soup.select("a.view_img_link")

    for i in images:               
        z=i.get('href')
        if str('gif') in str(z):
           pass
        else:
            http_url = "http:" + z
            img_url.append(http_url)
            #print("http:%s" % z)

    for j in img_url:
        r=requests.get(j)
        print('正在下载 %s......' % j)
        with open(path+j[-15:],'wb')as jpg:
            jpg.write(r.content)