老司机要开车了！用Selenium+PhantomJS来抓取煎蛋网妹子图

最新推荐文章于 2022-04-25 19:43:20 发布
最新推荐文章于 2022-04-25 19:43:20 发布
阅读量140 收藏
点赞数
文章标签： python
原文链接：https://my.oschina.net/u/3873244/blog/1823293
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

0d6a376a1d6903b1b08301f6ec66ad5bx640x800x56.jpeg;,3,jpegx;3,700x.jpg

那天有朋友找我一起抓妹子图片，像我这么正派的人，肯定是要抱着学习的目的......打开网页，哇！又...又要上火了。。。。

e8753c95ce2807dc8fa4ec6d61e144e2x550x318x16.jpeg;,3,jpegx;3,700x.jpg

话不多说，先看看网页吧！

3d5f75c1f8151efe103b3755b24cdda5x550x284x28.jpeg;,3,jpegx;3,700x.jpg

熟练的打开网页，找到妹子图，然后F12打开开发者工具，定位，ok，图片地址找到了，so easy~!，我们写入代码看看

7e60aea22bf7662e840c24d2d400e3c8x548x194x15.jpeg;,3,jpegx;3,700x.jpg

WTF~!

返回了个空列表？加了header也是这样，为啥呢，来打开源码看看

1df2ae78bb9be95000b545132809b492x1214x101x37.jpeg;,3,jpegx;3,700x.jpg

原来是js数据，这就麻烦了，难道先去学习下js语法，拿js文件，分析逻辑，找最终的url吗？

62752c724b22c4b2543a52a67cd14705x555x291x12.jpeg;,3,jpegx;3,700x.jpg

​让我们用selenium+PhantomJS试试吧！

安装请自行百度（有些麻烦，需要下载各种浏览器的相关驱动文件，网上一堆教程）

我们先获取源码后找找刚才的标签看看效果！

57367315a92cbd87cd8931ef383b1ee9x958x84x24.jpeg;,3,jpegx;3,700x.jpg

​吼吼~乖乖的出现了吧！

下面的流程就简单了，找到URL中翻页按钮，循环它，直到没有为止！然后写个获取图片并下载的函数，不到40行代码搞定！剩下的就是静静等待了！

da3dda3d26ce9d2908c4463c1828200dx534x361x12.jpeg;,3,jpegx;3,700x.jpg

完整代码和下载效果如下：

bdbf7e9a381fee33ff8b46374a6b803dx545x532x34.jpeg;,3,jpegx;3,700x.jpg

0dcfbfd0f357ad0ef07b67bf0936d835x785x395x22.jpeg;,3,jpegx;3,700x.jpg

5ead276f5ccf40756984be8c0dc51223x1032x607x178.jpeg;,3,jpegx;3,700x.jpg

c45c56dba744fd5f9836ede8cd817e5dx486x321x13.jpeg;,3,jpegx;3,700x.jpg

转载于:https://my.oschina.net/u/3873244/blog/1823293

weixin_33894992
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
[Python爬虫]煎蛋网OOXX妹子图爬虫（1）——解密图片地址
weixin_30725315的博客
03-17 1万+
之前在鱼C论坛的时候，看到很多人都在用Python写爬虫爬煎蛋网的妹子图，当时我也写过，爬了很多的妹子图片。后来煎蛋网把妹子图的网页改进了，对图片的地址进行了加密，所以论坛里面的人经常有人问怎么请求的页面没有链接。这篇文章就来说一下煎蛋网OOXX妹子图的链接获取方式。 首先说明一下，之前煎蛋网之所以增加了反爬虫机制，应该就是因为有太多的人去爬他们的网站了。爬虫频繁的访问网站会给网站带来压力，所以，...
Python爬虫 煎蛋网全站妹子图爬虫
qq_40417296的博客
10-10 5760
爬取流程 从煎蛋网妹子图第一页开始抓取； 爬取分页标签获得最后一页数字； 根据最后一页页数，获得所有页URL； 迭代所有页，对页面所有妹子图片url进行抓取；访问图片URL并且保存图片到文件夹。 开始 通过上一篇文章的爬取过程，我们基本上理解了抓取一个网站的大致流程。因为一个网站虽然有很多页，但是大部分网站每一页的HTML标签内容都是相同的。我们只要获取到一页的内容，就可以获得所有页的内...
Python爬虫练习四：利用selenium爬取煎蛋网的妹子图
从0开始的程序猿生活
06-05 908
    目标网址：http://jandan.net/ooxx。    经研究发现，煎蛋网设置了大量的反爬虫机制（果然妹子是第一生产力，网站被爬的痛了），隐藏了图片地址，搞了半天没找出规律。心一横，采取曲线路线，成功爬取大量妹子图~    selenium可以模仿人操作浏览器，从而达到通过与浏览器交互的方式，使服务器上的反爬虫机制失效。但这种方式也有其缺点：1、必须要打开浏览器，程序模拟人对浏览器...
简单应用Selenium+PhantomJS来抓取煎蛋网妹子图
程序人生的博客
06-16 1044
点击上方“程序人生”，选择“置顶公众号”第一时间关注程序猿（媛）身边的故事图片源自unsplash作者Python玩家链接：https://blog.csdn.net/p...
老司机php源码,JeRuen
weixin_30327815的博客
04-11 4065
PHP扩展开发系列01 - 我要成为一名老司机1. 关于扩展的教程貌似挺全了，为啥还写？记录下我写扩展的历程自认为会写的更容易理解我的宗旨就是 "先用再识" 代码写着写着就知道原理了 或者说边写边学， 边学边写2. 那么你首先要具备哪些预备知识？ 答：你需要先过科目一C 为啥放第一位？PHP 不会？那写什么PHP扩展？PHP的编译安装phpize 和 php-config 这个靠你们...
B站小甲鱼零基础python视频P57爬取煎蛋网OOXX妹纸图代码修改
hahah1024的博客
01-17 1万+
问题描述 在B站看[小甲鱼]零基础入门学习PythonP57集时遇到了一些问题，现在煎蛋网的的图片每一页的网址和视频里的不太一样，看弹幕有的说能爬，有的说不能爬，也没有标明日期，当时挺懵逼的，不知道该怎么办，硬着头皮看到最后，发现有弹幕说是用了base64加密，其它弹幕反响不错，感觉挺靠谱的，就百度了一下，最后终于成功爬取。小甲鱼的视频看到这里，这应该是第一个让我小有成就的实例，在这里分享给大家，希望和我遇到同样问题的朋友都能完成并继续学习下去，加油诸位。 具体参考了这篇文章https://blog.csd
C#使用Selenium+PhantomJS抓取数据
01-01
使用Selenium来操作PhantomJS绝配。但是网上的例子多是Python的。无奈，下载了python按照教程搞了一下，卡在了Selenium的导入问题上。遂放弃，还是用自己惯用的c#吧，就不信c#上没有。经过半个小时的折腾，搞定...
Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容
09-20
文章的第二部分则探讨了如何利用Selenium+PhantomJS技术路线来解决这一问题。 实验过程包括了以下几个步骤： 1. 使用集搜客工具生成xslt程序。 2. 编写Python代码，通过Selenium加载PhantomJS，将生成的xslt程序...
selenium+phantomjs
01-07
方法:a通过selenium+phantomjs来获取数据 b.找到数据来源的接口(ajax接口) 6.能获取列表页,就不获取详情页,为了避免增加请求数量. a.将详情页放到每条数据中心,第一次爬取先爬取列表 b.第二次从数据库中拿出详情页...
爬虫煎蛋网的mm图片
mtldswz312的博客
01-16 4609
import urllib.request import os url_list = [ 'http://jandan.net/ooxx/MjAyMDAxMTUtMTM3#comments', #每一页的URL，当前是136页 'http://jandan.net/ooxx/MjAyMDAxMTUtMTM2#comments', 'http://jandan.ne...
灭了珊瑚虫，OOXX了SOFF,下一个是谁？
【Java究竟怎么玩?】
12-22 9042
图名：麻花在天（昨日梦一麻花，有二目，皆似圆铃，傲然而舞长空，口中絮絮，不知所云，以图示之。）“金粉东南十五州,万重恩怨属名流。牢盆狎客操全算,团扇才人踞上游。避席畏闻文字狱,著书都为稻粱谋。田横五百人安在,难道归来尽列侯?”  这首龚自珍的《咏史》，作于晚清年间。现在虽不是晚清，更不是什么国民政府，但每当读到这首诗时，我却总犹如身临其境般，惶惶而不能自己。是错觉，还是什么呢？天知道。   而最近
python爬虫——抓取煎蛋网ooxx妹子图的一个小工具
qiang086的博客
01-10 4125
一点学习成果，仅限学习交流！ 一、部分源码： def get_page(html): # 获取下一页链接 start1 = str(html).find("Older Comments") stop1 = str(html).find("class", start1) url = "http:" + html[start1 + 22:stop1 - 2] ...
Python爬虫入门【15】：煎蛋网XXOO图片抓取
bingshi8956的博客
07-26 3870
今天写一个爬虫爱好者特别喜欢的网站煎蛋网http://jandan.net/ooxx，这个网站其实还是有点意思的，网站很多人写了N多的教程了，各种方式的都有，当然网站本身在爬虫爱好者的不断进攻下，也在不断的完善，反爬措施也很多，今天我用selenium在揍他一波。 整体看上去，煎蛋网的妹子图质量还是可以的，不是很多，但是还蛮有味道的，这可能也是爬虫er，一批一批的奔赴上去的原因。 1. 网站分析...
爬取随手拍的图片（包含了解密与加密）
qq_51096893的博客
04-25 1454
随手拍 (jandan.net)http://i.jandan.net/ooxx/MjAyMjA0MjUtMTc=#comments 后缀中的 MjAyMjA0MjUtMTc=是加密后的字符串，因此要通过base64进行解密，解密后发现这些字符串代表的是：当天的年月日-页号，如前面的字符串就是：20220425-17 我处理上面的方法就是引用tim
【2】基于python的网路爬虫笔记（实战）
Killua
01-27 657
上一章讲了如何通过使用pyhthon的方法实现代理访问，这一章讲进行实战，比一个网站的图片自动化下载下来 目标网站：自己寻找任何一个图片网站，下面直讲解方法 1.分析网站元素，通过浏览器的审查元素查看  首先每张图片都有一个指向这组图的链接，要获取这个链接添加都一个列表里，然后在一个个遍历去下载对应链接里的图片，这里用get_page_num_1(url)来处理 进到每组图里，不会一页...
[Python 爬虫]煎蛋网 OOXX 妹子图爬虫（1）——解密图片地址
热门推荐
husongbo的博客
05-16 3万+
之前在鱼C论坛的时候，看到很多人都在用 Python 写爬虫爬煎蛋网的妹子图，当时我也写过，爬了很多的妹子图片。后来煎蛋网把妹子图的网页改进了，对图片的地址进行了加密，所以论坛里面的人经常有人问怎么请求的页面没有链接。这篇文章就来说一下煎蛋网 OOXX 妹子图的链接获取方式。首先说明一下，之前煎蛋网之所以增加了反爬虫机制，应该就是因为有太多的人去爬他们的网站了。爬虫频繁的访问网站会给网站带来压力，...
煎蛋网妹子图爬虫
陀罗地
12-30 3759
自从开了自己的站点，就好久没来写过CSDN的博客了。维护自己那个站点的功夫确实也画的比较多，所以这里也就没怎么更新了。由于自己也是大四了，需要考雅思出国，能留给自己兴趣爱好的时间就更加的少了。现在雅思也考完了，学校的水课还没有开始考，处于这种大四退休生活中的我终于又有时间来写博客了。
利用lxml爬取煎蛋妹子所有图片
weixin_34288121的博客
05-05 303
这个爬虫是单线程，因为在多线程的情况下，请求容易被煎蛋搞掉，而且还要sleep（1）不然速度过快也会被干掉，然而即使是这样也不能全部爬取，当然，我用的headers只有一个useragent，有心的可以多弄几个每次请求都随即取就好了 上代码 import urllib import urllib2 from lxml import html import os import time def g...
爬取煎蛋网妹子图片
大梦小半
11-24 1948
import requests import bs4 import base64 import urllib.request num_photo = 1 def download_photo(url , num ): global num_photo response = urllib.request.urlopen(url) cat = response.read() with ...
selenium + PhantomJS
最新发布
07-28
你可以使用driver = selenium.webdriver.PhantomJS()来创建一个PhantomJS的实例，然后可以通过调用driver的方法来进行浏览器操作，比如访问指定的URL地址。例如，使用driver.get("http://www.baidu.com")可以访问...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值