Python 极简美女爬虫器 Chrome

原创 2018年04月17日 11:43:53
#创建一个下载美女图片的方法

# import urllib.request,parse
from urllib import request,parse
import gevent
import gevent.monkey

gevent.monkey.patch_all()  #把所有的耗时转化成gevent的函数

import re


def read_img():
    # 抓取网页内容-发送报头-1
    url = "https://www.douyu.com/directory/game/yz"
    send_headers = {
        'Host': 'www.douyu.com',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; rv:16.0) Gecko/20100101 Firefox/16.0',
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
        'Connection': 'keep-alive'
    }

    # url = "http://httpbin.org/post"
    # headers = {
    #     # 伪装一个火狐浏览器
    #     "User-Agent": 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',
    #     "host": 'httpbin.org'
    # }
    dict = {
        "name": "oldyang"
    }
    data = bytes(parse.urlencode(dict), encoding="utf8")
    req = request.Request(url=url, headers=send_headers, method="GET")
    response = request.urlopen(req)
    content = response.read().decode("utf-8")
    print(content)
    #正则
    reg = r'data-original="(https://.+\.jpg)"' # 定义一个正则来匹配页面当中的图片
    imgre = re.compile(reg)  # 为了让正则更快,给它来个编译

    imglist = re.findall(imgre, content)

    return imglist

def write_img(file_name,image_url):
    #读取所有图片
    req = request.urlopen(image_url)
    content = req.read()

    #写到文件中
    with open("./images/%s.jpg"%file_name,'wb') as f:
        f.write(content)

def main():
    # down_img("./美女1.jpg","https://rpic.douyucdn.cn/live-cover/appCovers/2018/03/18/4356210_20180318215315_big.jpg")
    # down_img("./美女2.jpg","https://rpic.douyucdn.cn/live-cover/appCovers/2018/01/30/2716613_20180130095710_big.jpg")
    #

    images = read_img()

    spawns = list()

    num = 0
    for image_url in images:
        spawns.append(gevent.spawn(write_img,num,image_url))
        num += 1


    #使用协程进行数据抓取
    gevent.joinall(spawns)

if __name__ == '__main__':
    main()




Chrome 二维码插件推荐——全能二维码

长网址、下载链接、精美图片、网页上的文字内容想快速的转移到手机上,可以更方便完成电脑到手机资料的转移; 使用方法: 1.点击浏览器右上角的二维码标示,转换当前地址为二维码;(不支持http...
  • hsany330
  • hsany330
  • 2014-02-14 12:08:29
  • 1729

chrome插件[前端助手,鼠标手势,极简二维码]

  • 2017年04月06日 12:52
  • 538KB
  • 下载

用python写一个美女图片爬虫

介绍最近无聊学了一下python,决定打算用python写一个爬虫,既然要写爬虫,就写一个美女爬虫,养眼,哈哈..你们懂的准备阶段 首先我们必须先找到一个有美女的网站,这里我以7kk网站为例子, 进...
  • tianshi_kco
  • tianshi_kco
  • 2016-10-24 20:53:16
  • 2016

python实现爬虫下载美女图片

python实现爬虫下载美女图片 本次爬取的贴吧是百度的美女吧,给广大男同胞们一些激励 在爬取之前需要在浏览器先登录百度贴吧的帐号,各位也可以在代码中使用post提交或者加入cooki...
  • hello_katty
  • hello_katty
  • 2015-07-15 08:10:50
  • 3991

python网页爬虫--美女网图片爬取

  • 2016年10月27日 15:58
  • 154KB
  • 下载

python爬虫爬取美女图片

python 爬虫爬取美女图片 #coding=utf-8 import urllib import re import os import time import threading ...
  • u013480667
  • u013480667
  • 2015-04-10 22:49:00
  • 1484

Python3爬虫爬取某网站美女图片

这个网站和很多网站一样,对爬虫有限制,他的限制方式应该是1.请求过快的是机器人,封!2.不是浏览器发来的请求,封!所以我加了休眠,并伪装成了浏览器。代码如下: from urllib.request...
  • iamsamzhang
  • iamsamzhang
  • 2015-07-07 09:00:28
  • 2373

python爬虫-爬取美女图片

当你发现某个网站上有大量的美女图片,又非常想看,怎么办,网页上看?每次看的时候都得加载吧!No,你可以把这些图片都保存到本地,然后,在你想看的时候就可以随时看了,哈哈!多的不说。下面就来上代码: 1,...
  • guo_hongjun1611
  • guo_hongjun1611
  • 2016-01-25 16:01:21
  • 3189

[Python]网络爬虫学习笔记,爬取豆瓣妹子上妹子的照片

豆瓣妹子(http://www.dbmeizi.com/)是一个收集豆瓣美女的第三方网站,主要收集来自豆瓣羞涩组,害羞组,长腿组等兴趣爱好小组的用户自行上传的照片,大家在这边可以收藏自己喜欢的豆瓣美女...
  • u012583056
  • u012583056
  • 2014-11-09 10:28:33
  • 1926

Python爬虫系列(五)360图库美女图片下载

这几天终于忙完毕设和学校的事情,终于有时间来写Python了(( ̄▽ ̄)~*)。前些天在群里看到有人讨论这个360美女图库 的爬取。自己今天也尝试下(蛮简单)。 因为这个网站是下拉到底底部,图片就会加...
  • yanqianglifei
  • yanqianglifei
  • 2017-08-31 10:03:40
  • 1005
收藏助手
不良信息举报
您举报文章:Python 极简美女爬虫器 Chrome
举报原因:
原因补充:

(最多只允许输入30个字)