Python爬虫实战(四) :下载煎蛋网所有妹子照片

原创 2017年09月04日 22:03:47

煎蛋网是一个适合开车的网站,各种妹子福利图片。

网站:http://jandan.net/ooxx

里面有两种格式的图片:gif和jpg,写个程序将所有页面的妹子图全部下载下来。


#coding=utf-8
import requests
import urllib.request
from random import randint
from bs4 import BeautifulSoup

def getHtml(url):
    page = requests.get(url)
    html =page.text
    return html

def getimg(html):
    soup = BeautifulSoup(html, 'html.parser')
    img_info = soup.find_all('a')                
    global x
    for index,img in enumerate(img_info):
        if not img.get('href'):
            return
        imgstr = "http:" + img.get('href')   #有更好的标签,但爬下来之后发现gif图片动不了,因此改为此标签
        if imgstr[-4] != '.':
            continue
        print ("正在下载第{}张图片".format(x))
        urllib.request.urlretrieve(imgstr,'%s%s' % (x,imgstr[-4:]))
        x = x+1
        
            
if __name__=='__main__':
    x = 1
    for i in range(1,72):
        url  = ("http://jandan.net/ooxx/page-%s#comments" % str(i))
        html = getHtml(url)
        getimg(html)

    print ("OK!DownLoad ALL!") 



版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

Python爬虫入门学习例子之煎蛋网(福利哦)

初学Python爬虫,学习资料是这篇博客:Python爬虫入门教程 经过前边两个例子(糗事百科爬虫和百度贴吧爬虫)的学习,我自己写了一个练习的例子:爬煎蛋网的妹子图,福利哦(*^__^*)  #煎蛋网...

写给喜欢数据分析的初学者

最近接到一个职业访谈的邀请,要给对数据分析感兴趣的新人Y(目前在知名电商从事系统开发和维护)一些建议,才突然发现自己在这个领域打滚了一段时间,一阵感叹后,写下自己的一些体会,尽管不全面,但或许能够给新...

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

数据分析师成长之路

一个牛逼数据分析师成长之路

关于数据分析的几点心得:维度、指标、KPI

1、看数据看维度 在对某一项业务或者业务的某个模块进行分析时,可以从大小两个角度去切入分析。 首先站在广阔的视角去看待一些数据。比如对某个产品(消费品),就要分析在大环境下是一个什么样的数...

16种常用的数据分析方法汇总

经常会有朋友问到一个朋友,数据分析常用的分析方法有哪些,我需要学习哪个等等之类的问题,今天数据分析精选给大家整理了十六种常用的数据分析方法,供大家参考学习。 一、描述统计 描述性统计是指运...

Python爬虫实战(五) :下载百度贴吧帖子里的所有图片

准备工作: 目标网址:https://tieba.baidu.com/p/5113603072 目的:    下载该页面上的所有楼层里的照片 第一步:分析网页源码 火狐浏览器  ---> 在该页面上...

JFinal下使用websocket(转载+精简+排坑)

JFinal整合WebSocket开发
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)