python爬虫系列二：爬取糗百成人的妹子图片(requests+正则)

最新推荐文章于 2019-10-10 16:15:32 发布
最新推荐文章于 2019-10-10 16:15:32 发布
阅读量6.3k 收藏 3
点赞数
分类专栏： python 爬虫 文章标签： python 爬虫 正则 requests
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010445540/article/details/59486230
版权

在我的上篇文章：python爬虫系列一：爬取糗百成人的妹子图片中，体现的主要还是代码，这一次我用了更加流行的requests 和正则来改写代码，并且简单的说说思路

爬取图片到底需要干什么

1，定义要爬取的页面。

糗百官网：http://www.qiubaichengren.com，里面是不是有很多的妹子图片，我们就是要把这些妹子图片爬取下来。接着我们点击‘下一页’按钮，发现网址变成了http://www.qiubaichengren.com/2.html,也就是要爬完所有的妹子图片，只需要找到末页标签就可以了http://www.qiubaichengren.com/850.html，

所以我们要定义一个url_list=[‘http://www.qiubaichengren.com/%s.html’ % i for i in range(1, 851)]确保访问了我们需要爬取的所有页面。

2，找到要爬出图片的url

在http://www.qiubaichengren.com页面查看源码,发现图片都包含在 <img alt="你点嘛，你点什么都很可口，我爱吃" src="http://wx2.sinaimg.cn/mw600/661eb95cly1fd3nbpczarj20jz0zk47g.jpg" style="width: 350px; height: 623px;" />这样的标签里面，为了找到页面中所有的img标签，并提取alt 和src的内容，定义如下正则：

reg = r'<img alt="(.*

最低0.47元/天 解锁文章
老鼠程序员
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python抓取糗事百科成人版图片
weixin_34062329的博客
04-23 3万+
最近开始学习爬虫，一开始看的是静觅的爬虫系列文章，今天看到糗事百科成人版，心里就邪恶了一下，把图片都爬下来吧，哈哈~ 虽然后来实现了，但还是存在一些问题，暂且不提，先切入正题吧，没什么好说的，直接上代码如下： 环境：Python2.79 1 #coding: utf-8 2 import urllib2 3 import urllib 4 import re 5 ...
python爬虫爬取糗百成人图片多线程版本
fenyujinian的专栏
11-09 2029
来个简单的多线程，爬取速度比单线程要快很多，下面上代码： #encoding:utf-8 #多线程爬取 import requests import os from bs4 import BeautifulSoup import threading import urllib.request FIRST_PAGE_URL = 'http://www.qiubaichengren.com/{}
python 爬虫 糗百成人
weixin_33935777的博客
04-23 2272
import urllib from time import sleep import requests from lxml import etree try: def all_links(url,page): # if "900.html" in url: # print("结束"); # return None...
电影源码 电影网站源码模板
01-20
源码是php的 941看电影网源码和其他电影网站模板不同之处， 网站播放视频无需安装任何播放器，打开页面就能播放！用户体验友好。 如果一个网站给我看个电影还要我安装播放器，我是果断关闭页面的。 谁都希望打开网站点击就能播放！ 1、此网站是本人自己制作，绝对安全！优点：可以生成静态页面！对于seo绝对是很看重的！ 2、更具杀伤力的是网站不需要几十上百G的空间就可以发布电影！因为电影都是直接使用迅雷链接和电驴链接直接播放的。不需要存储视频文件。可以大大节省空间！ 3、还有一大好处是可以实现点播功能！使用迅雷链接或电驴链接直接就能播放！优点是片源广泛！ 4、网站还有推广功能！注册用户只要推广给别人注册就能获得积分。这就很大程度的让你的用户帮你宣传网站。不想付费却想看电影的人即使你没赚他的钱但也可以利用他帮你推广网站。 5、盈利模式多样化，部分电影需要积分，用户可以购买积分观看。实现盈利、还可以挂上淘宝客页面！推广一些看电影的人爱买的东西！也可以挂广告！ 6、还有一个绝杀的秘籍教程。
python爬虫系列一：爬取糗百成人的妹子图片(urllib2)
老鼠程序员的专栏
09-22 1万+
撸叼屎是我朋友，单身已久，每天让我给介绍妹子，于是我写了一个python爬虫来暂时满足他。 给撸叼屎的程序#!/usr/bin/env python # -*- coding: utf-8 -*- from urllib2 import Request, URLError, urlopen import re import urllib import os def get_url_content(u
python爬虫爬取糗百成人图片单线程版本
fenyujinian的专栏
11-09 2691
爬取糗百成人图片的所有图图，先来个单线程版本的： #encoding:utf-8 #单线程简单版本 import requests import os from bs4 import BeautifulSoup import threading import urllib.request FIRST_PAGE_URL = 'http://www.qiubaichengren.com/{}.h
Python爬虫案例1：爬取淘宝网页数据
10-27
在IT行业中，Python爬虫是一种常见的数据获取技术，尤其在大数据分析、市场研究和网络情报等领域广泛应用。本案例将深入探讨如何使用Python编写一个爬虫程序来抓取淘宝网站上的商品信息，例如芒果、草莓和鸭舌帽等...
Python爬虫案例2：爬取前程无忧网站数据
10-27
在本Python爬虫案例中，我们将探讨如何使用Python来爬取前程无忧网站的数据。前程无忧（51Job）是中国领先的招聘网站之一，提供大量的职位信息，这为我们提供了丰富的数据源来学习和实践网络爬虫技术。 首先，我们...
python爬虫基础操作：爬取MySQL数据库存储的信息
12-20
在Python爬虫开发中，将爬取到的数据存储到数据库是一种常见的做法，特别是当数据量较大或者需要进行深度分析时。本篇文章将介绍如何使用Python3进行爬虫操作，并将爬取到的信息存储到MySQL数据库中。首先，我们选择...
Python抓取糗事百科网页信息以及源码下载
11-21
http://www.qiushibaike.com/hot/page/1# 代码中使用这个网址获取网页中的信息的。网址中的1代表第一页，该数字累加，就是不同页的信息。 每一页显示20条糗事，每条糗事有头像，用户姓名，糗事内容，糗事内容图片（该图片可有可无，没有图片的话，糗事内容就是纯文本形式），以及点赞或者好笑数量。
Python使用爬虫抓取美女图片并保存到本地的方法【测试可用】
12-25
本文实例讲述了Python使用爬虫抓取美女图片并保存到本地的方法。分享给大家供大家参考，具体如下： 图片资源来自于www.qiubaichengren.com 代码基于Python 3.5.2 友情提醒：血气方刚的骚年。请 谨慎阅图！ 谨慎阅图！！ 谨慎阅图！！！ code： #!/usr/bin/env python # -*- coding: utf-8 -*- import os import urllib import urllib.request import re from urllib.error import URLError class QsSpider: def __
python抓取网站的图片并下载到本地的方法
12-24
实例如下所示： #!/usr/bin/python # -*- coding: UTF-8 -*- import re import urllib,urllib2; #通过url获取网页 def getHtml(url): # 要设置请求头，让服务器知道不是机器人 user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' headers = {'User-Agent': user_agent} request=urllib2.Request(url,headers=headers); page = urllib2.u
课时14：Requests+正则表达式爬取猫眼电影.rar
最新发布
03-01
Python3 爬虫实战Python3 爬虫实战Python3 爬虫实战Python3 爬虫实战Python3 爬虫实战Python3 爬虫实战Python3 爬虫实战Python3 爬虫实战Python3 爬虫实战
Python爬虫项目：爬取某内涵网站指定页数的图片
12-22
爬取某内涵网站指定页数的图片(http://www.budejie.com/pic/) 需要提前掌握XPATH的相关知识！ import requests from lxml import etree from urllib.request import urlretrieve # 函数作用： # 对页面发起请求并...
老司机带你30行代码爬糗事百科成人版
热门推荐
gane12534的博客
09-15 4万+
学了大概一个月爬虫了，看着人家爬东爬西的，自己也按捺不住终于写好了自己的爬虫，而且是福利哦。 这里我们主要用到了requests库，推荐大家用python 3.0+以上版本。import urllib import re import requests from requests.exceptions import RequestException #这里是我们要爬的网址，为了示例只爬取20页 f
糗事百科成人版段子爬虫实战
zzh的博客
10-10 4万+
糗事百科成人版的段子爬虫 因此正则表达式可以写成 然后观察网址规律，发现格式是…page/n，n是页数 因此可以自己构造url访问多页 最后是针对某些反爬机制 可以自己添加用户代理池和ip代理池然后随机调用代理池（这个糗事百科没什么反爬机制可以不写） 常用用户代理池 https://blog.csdn.net/wangqing84411433/article/details/896003...
Xpath--使用Xpath爬取糗事百科成人版图片
weixin_30908103的博客
11-29 9822
#!usr/bin/env python#-*- coding:utf-8 _*-"""@author:Hurrican@file: 爬取糗事百科.py@time: 2018/11/29 20:43"""'''content返回的是byte型数据，而text返回的是Unicode数据，也就是说text对原始数据进行的特殊的编码，而这个编码方式是基于对原始数据的猜测(响应头)，text一般用于返回的...
糗百好帖
你好，旧时光！
12-06 4518
幸福与贫富外表无关，与内心相连     刚才看见一个手老是蜕皮的，给他回复了，怕看不见，再发一遍。把碱放到醋里面，把手掉皮的地方放进去，过个三分钟左右在拿出来。我坚持了不到两个月好了，而且没有复发 一入糗百深似海，从此节操是路人。 天王盖地虎，小鸡炖蘑菇。 宝塔镇河妖，蘑菇放辣椒。 河妖用大招，二楼弯下腰。 莫愁不开怀，二楼出人才。 钛合金狗眼，贞操已用完。
python爬虫抓取图片-简单的python爬虫教程：批量爬取图片
05-19
好的，下面是一个简单的 Python 爬虫教程，可以批量爬取指定网站的图片： 首先，我们需要安装 requests 和 BeautifulSoup 这两个库。可以通过以下命令进行安装： ``` pip install requests pip install ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值