斗图爬虫

最新推荐文章于 2020-05-11 10:43:49 发布
最新推荐文章于 2020-05-11 10:43:49 发布
阅读量389 收藏
点赞数
原文链接：https://my.oschina.net/u/3412738/blog/3041990
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

喜欢斗图, 图不够? 爬了一下斗图网, 自动下载图片, 斗图, 从来没怕过谁.

环境ubuntu 16.04, python3.5

直接上代码

#!/usr/bin/python
# -*- coding: utf-8 -*-


import urllib
from urllib.request import urlopen
import random
import os
import re

my_headers = [
    "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/537.75.14",
    "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Win64; x64; Trident/6.0)",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36",
]

url_prefix = "http://www.doutula.com/article/list/?page="
referer_prefix = "http://www.doutula.com/article/list/?page="

# 创建保存目录,创建成功返回Ture, 不成功返回False
def getFile(path):
    if not os.path.exists(path):
        os.makedirs(path)

    # 如果创建成功则返回, 不成功则尝试用默认路径创建
    if os.path.exists(path):
        print('成功创建目录 %s' % path)
        return True
    else:
        print('创建目录 %s 失败' % path)
        return False

def getPageHTML(url, referer,  my_headers):
    req = urllib.request.Request(url)
    randdom_header = random.choice(my_headers)
    req.add_header("User-Agent", randdom_header)
    req.add_header("Host", "www.doutula.com")
    req.add_header("Referer", referer)
    req.add_header("GET", url)
    # opener = urllib.request.build_opener(urllib.request.ProxyHandler())
    # urllib.request.install_opener(opener)
    response = urllib.request.urlopen(req)
    content = response.read()
    return content

# 解析HTML页面信息, 获取所需信息
def getHTMLElements(pageHTML):
    result = []
    print('正在获取图片列表')
    pattern = re.compile('data-original="(\S*?)jpg!dta', re.S)
    res = re.findall(pattern, pageHTML.decode('utf-8'))
    for r in res:
        r += 'jpg'
        result.append(r)
    if result:
        print('成功获取图片列表')
        return result
    else:
        print('获取图片列表失败')
        return []

# 通过图片url获取图片并保存到指定文件夹中
def getImg(path, imgUrl, filename):
    print('正在写入图片%s' % imgUrl)
    u = urllib.request.urlopen(imgUrl)
    data = u.read()
    # 切换到目录
    os.chdir(path)
    f = open(filename, 'wb')
    f.write(data)
    f.close()
    os.chdir('../')


def log(path, url, referer, my_headers, start_id):
    print("开始爬取%s页面" % url)
    # 页面HTML
    pageHTML = getPageHTML(url, referer, my_headers)
    # 图片url列表
    imageUrl = getHTMLElements(pageHTML)
    # 保存图片
    # 筛除重复数据
    imgs = list(set(imageUrl))
    # 图片名称初始化
    # 对图片url列表进行遍历
    for img in imgs:
        # 将图片url对应的图片保存入目标文件
        getImg(path, img, filename=str(start_id) + '.jpg', )
        start_id += 1
    print('成功爬取%s页面, 获取%d张图片' % (url, len(imgs)))
    return start_id



# 创建保存目录
path = "斗图"
f = getFile(path)
page_number = 2
if f:
    next_start_id = 1
    for i in range(1, page_number+1):
        url = url_prefix + str(i)
        referer = referer_prefix + str(i-1)
        next_start_id = log(path, url, referer, my_headers, next_start_id)
    print('爬虫完成, 共获取%d张图片' % (next_start_id-1))
else:
    print('创建目录%s失败, 停止爬虫')

结果

/opt/wwwroot/python/bin/python /opt/wwwroot/doutu.py
成功创建目录 斗图
开始爬取http://www.doutula.com/article/list/?page=1页面
正在获取图片列表
成功获取图片列表
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/22/20190422893055_FDICGk.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/19/20190419677576_mgtABy.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/19/20190419677574_yHlqZN.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/17/20190417460735_ZetOWV.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/22/20190422893056_ZNTWxH.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/19/20190419677576_fnZCtR.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/22/20190422893057_tLrIZN.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/16/20190416372281_EVKcFZ.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/18/20190418592845_RyTfwB.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/16/20190416372284_JUoZWm.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/22/20190422893054_gySZih.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/16/20190416372283_MhQrcu.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/17/20190417460736_mkvpPA.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/17/20190417460734_JXsBdD.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/16/20190416372851_XwcOSk.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/16/20190416372852_HQXMkq.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/19/20190419677575_ZWnGrU.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/17/20190417460735_cfWPas.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/18/20190418592850_OcIBWP.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/21/20190421861952_gENdjV.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/16/20190416372850_hySiUj.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/16/20190416372852_UbWHos.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/21/20190421861953_vOqjSn.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/16/20190416372282_DGUWTr.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/16/20190416372805_iDyHdU.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/18/20190418592853_btACyW.jpg
成功爬取http://www.doutula.com/article/list/?page=1页面, 获取26张图片
开始爬取http://www.doutula.com/article/list/?page=2页面
正在获取图片列表
成功获取图片列表
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/14/20190414206133_uQsHqG.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/11/20190411943483_sDBjCg.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/09/20190409770790_dNScVk.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/08/20190408681856_hetJiL.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/08/20190408681858_DJmujK.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/11/20190411943482_XLdQza.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/08/20190408681908_iOuyXg.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/09/20190409770790_sLTbja.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/09/20190409770792_knUdlr.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/12/20190412030067_tWBAzg.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/15/20190415303523_PbsrpF.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/10/20190410855261_FjYcIW.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/08/20190408681901_loACKy.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/08/20190408681857_TXbrzq.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/15/20190415303524_moMfct.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/11/20190411943484_FucDtC.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/14/20190414206134_WyVdgc.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/08/20190408681857_FMapOI.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/10/20190410855259_kKgBZS.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/12/20190412030066_OtbdXm.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/09/20190409770792_TPhezJ.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/10/20190410855260_UKQzfX.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/10/20190410855258_CTXjym.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/12/20190412030066_SxMcbA.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/08/20190408681902_cEAQju.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/14/20190414206132_pOBhSb.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/15/20190415303525_SzCjYs.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/14/20190414206133_VWOxBf.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/11/20190411943482_ZuwNnQ.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/08/20190408681900_eGkLNj.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/15/20190415303525_OPsDGl.jpg
正在写入图片http://img.doutula.com/production/uploads/image//2019/04/12/20190412030067_JYaPnj.jpg
成功爬取http://www.doutula.com/article/list/?page=2页面, 获取32张图片
爬虫完成, 共获取58张图片

Process finished with exit code 0

转载于:https://my.oschina.net/u/3412738/blog/3041990

weixin_34380948
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬虫入门教程 13-100 斗图啦表情包多线程爬取
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
10-17 2万+
今天在CSDN博客，发现好多人写爬虫都在爬取一个叫做`斗图啦`的网站，里面很多表情包，然后瞅了瞅，各种实现方式都有，今天我给你实现一个多线程版本的。关键技术点 `aiohttp` ，你可以看一下我前面的文章，然后在学习一下。 网站就不分析了，无非就是找到规律，拼接URL，匹配关键点，然后爬取。
【python--爬虫】斗图啦表情包爬虫
我不生产数据，只是数据的搬运工
01-22 407
前言 你还在，你还在，头悬梁锥刺股。 下，下，下，表情包吗？ 你还以为盗个图战胜小学生。 就能成为斗图王吗？ 你还把会做图当成斗图资本吗？ 你还为斗不过图而痛哭流泪吗？ No no no no no No no no no no no no 人生苦短 Q群数十小学生变身斗图王的梦想 你可以复制 是时候写个爬虫了 前提准备 本次教程将为您讲解如何爬取斗图啦网的表情包，网址链接：http://www...
爬虫斗图
花木兰
08-29 197
import requests import urllib,requests import time import os import threading import bs4 from bs4 import BeautifulSoup PAGE_URL_LIST=[] headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; ...
斗图网爬虫
just_so_so_fnc的博客
05-14 405
import urllib from urllib import request # from lxml import etree import os import time from lxml import etree import requests #导入线程 池模块 from multiprocessing.dummy import Pool as Treadpool count=0 #...
‘斗图啦’网站爬虫
qq_45020131的博客
11-20 934
目标： 爬取“斗图啦”的表情包前一百页 虽然这是一个小爬虫，但所用到库还真不少，比如，requests，lxml，os，re等 下面先把源代码献上： ‘’’ import requests from lxml import etree import time import os import re def parse_page(url): headers = { 'Us...
斗图啦爬虫源代码（多线程）
08-15
【标题】"斗图啦爬虫源代码（多线程）"揭示了这是一个关于网络爬虫的项目，特别地，它专注于抓取“斗图啦”网站上的图像资源，采用了多线程技术来提高爬取效率。斗图啦是一个流行的表情包分享平台，用户可以在这里...
python 简单爬虫 爬斗图
05-10
python 简单爬虫 爬斗图 直接运行就行， 改变关键字，python3.6
CSDN,斗图网爬虫Demo(JAVA爬虫)
10-25
自己编写的一个SSM整合内容,使用WebMagic框架写了关于CSDN的三个从简单到稍微复杂的爬虫Demo,以及一个爬取斗图网表情包数据的Demo,测试都可运行后进行打包上传.使用Mysql5.5数据库.做了一个前台用于展示CSDN爬取的...
java爬虫 jsoup爬取 斗图啦
05-10
在这个项目中，我们使用了Jsoup库来实现对“斗图啦”网站的图片爬取与下载。 Jsoup是一个非常流行的Java库，专门用于处理和解析HTML文档。它的主要功能包括提取结构化数据、查找和修改DOM元素，以及模拟浏览器的...
python爬虫项目实战
最新发布
06-09
多线程爬取斗图吧的表情图并下载到本地 - xpath + threading 使用 itchat 发送表情到指定的人和微信群 多线程爬取百思不得姐的文字和图片信息并写入到csv中 Selenium 自动化爬虫 爬取拉勾网的职位信息 - selenium + ...
使用python爬取斗图啦全部表情
04-11
使用python爬取斗图啦全部表情，自从学会python，斗图就再也没怕过谁了，不服那表情砸死你，上千张表情做成表情包，砸砸砸！！！
python爬虫第一个,爬取斗图啦,程序猿斗图从来没输过.
qq_38636998的博客
11-30 1359
最近几天博客一直没有跟新,本人也对爬虫有深深的兴趣所以就花了一天时间,自学了一下,然后实战爬取斗图啦. 话不多说直接上码,相信小白也看的懂, import requests import re import urllib.request #定义目标网站url url='http://www.doutula.com/photo/list/?page=' # #编写模拟浏览器获取 headers =...
python爬虫多线程爬虫斗图啦，一起来斗图吧
qq_44210926的博客
09-04 420
我前面也写过一个多线程爬虫爬取斗图，但我后面看了一下我感觉好像还是有点问题，所以我今天又重新写了这个爬虫。 如果不是要求速度的话还是用一下time.sleep()吧，我刚刚爬的时候好像是被封了，用浏览器也打不开斗图啦网站，过了几分钟才能继续访问，这个还是要注意一下。 我本来是想试一下代理ip的，但免费的ip真的是不行，付费的又不想出这个 钱，想想还是算了。 import requests,time...
[Python/爬虫]斗图网
DevOps
07-17 486
#!/usr/bin/env python # *-* coding:utf-8 -*- from bs4 import BeautifulSoup import re import requestsurl = 'https://www.doutula.com/article/list/?page={}'class DownLoadImg(object): def __init__(self
Python实战——斗图网爬虫
SHARECLUB
02-07 596
导入的包 request 一个很实用的python HTTP客户端库，编写爬虫和测试服务器响应数据时经常会用到 语法实例： import requests r = requests.get('https://api.github.com/events')   bs4 全名BeautifulSoup，是编写python爬虫常用库之一，主要用来解析html标签 语法实例...
Python 爬虫 斗图网啦 （bs4）
FATQ_Zwj的博客
05-11 297
Python 爬虫 斗图网啦 （bs4） 可以多种形式，我用的BeautifulSoup，因为觉得简单 xpath有点复杂
python爬虫练手之斗图啦
围巾的ACM博客
05-13 1621
互联网时代，难免会和别人在线上聊天，而现在的年轻人呐！一言不合就开始斗图！我难道就默默看着别人装逼吗？NO!拒绝！ 所以呢借此机会我们找个表情网站，爬一波图片啦 斗图网链接： https://www.doutula.com由于网站结构比较简单，没有异步加载，直接从html就能查找信息啦，所以就不做详细分析~#coding:utf-8 import requests import os fr
python爬虫爬取斗图网上图片
左眼皮跳跳
05-23 2150
#-*- coding:utf-8 -*- """ 最基础的python爬取图片的程序，目前在学习阶段，程序思路： ①首先得到网页上的图片的分类 ②根据图片的分类url，进入到相应的网页，得到这个分类的所有图片Url ③下载图片 """ import re, requests import os def getHtml(url): headers = {'User-Agent':'Mo
python爬虫：爬取斗图啦数据
yunfeiyang520的博客
06-08 899
import requests import re def down_images(page=1): result = requests.get('https://www.doutula.com/photo/list?page={}'.format(page)).text ''' data - original = "http://ww1.sinaimg.cn/bmid...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值