2021-08-01 Python-爬虫练手:爬取上千张“萌妹子“网美图

最新推荐文章于 2024-01-30 01:49:13 发布
最新推荐文章于 2024-01-30 01:49:13 发布
阅读量650 收藏 1
点赞数
分类专栏： 爬虫 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44691720/article/details/119302112
版权

爬取"萌妹子"网

一.目标网站

目标网站:https://imoemei.com/
网站爬取分类:https://imoemei.com/meinv/page/{n}

在这里插入图片描述
一共11页
在这里插入图片描述

二.网站分析

1.翻页方法

所有翻页全部采用for循环,有更好的更简单的方法请大神指点一下

  • 写真栏目
    -一共11页,考虑翻页问题
for n in range(1,12):
    url=f'https://imoemei.com/meinv/page/{n}'
  • 每一页30张封面
    在这里插入图片描述

2.提取每个封面的链接以及名称

  • 用requests对url进行请求
  • 用bs4.BeautifulSoup,"html.parser"对网页源码进行解析
  • 用select定位所需的内容
  • 用re正则表达式对需要的子页面链接和名称进行提取
    resp=requests.get(url,headers)
    exSoup=bs4.BeautifulSoup(resp.text,'html.parser')
    onePage=exSoup.select('h2')
    oneLink=re.findall(r'<a href="(.*?)">',str(onePage))
    oneNames=re.findall(r'html">(.*?)</a>',str(onePage))

3.二级页面

  • 翻页&&访问
    for ones in range(len(oneLink)):
        header = {
            "user-agent": random.choice(ualist)
        }
        print("\033[0;31m%s\033[0m" % f"------------正在下载{oneNames[ones]}小姐姐图片------------")
        #访问二级页面
        tworesp=requests.get(url=oneLink[ones],headers=header)

3.1提取图片链接

		twoSoup=bs4.BeautifulSoup(tworesp.text,'html.parser')
        twoPage=twoSoup.select('img[src]')
        jpgs=re.findall(r'<img src="(.*?)"/>',str(twoPage))

3.2保存图片

        #保存图片
        for i in range(len(jpgs)):
            print(f'{jpgs[i]}')
            try:
                jpg = requests.get(url=jpgs[i],headers=header)
                with open(f'D:/爬取图片/萌妹子/{oneNames[ones]}{i}.jpg','wb') as f:
                    f.write(jpg.content)
                time.sleep(0.1)
                print(f'{oneNames[ones]}{i}.jpg下载完成!')
            except:
                print(f'{oneNames[ones]}{i}.jpg下载失败！')

三.代码及运行结果

1.完整代码

'''
2021-8-1
目标网站:https://imoemei.com/
网站爬取分类:https://imoemei.com/meinv/page/{n}
'''
import bs4,re,requests
import random,time

ualist = [
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3872.400 QQBrowser/10.8.4455.400",
    "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:23.0) Gecko/20131011 Firefox/23.0",
    "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.90 Safari/537.36",
    "Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.93 Safari/537.36",
    "Mozilla/5.0 (X11; Linux i586; rv:31.0) Gecko/20100101 Firefox/31.0",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1623.0 Safari/537.36",
    "Mozilla/5.0 (Windows; U; Windows NT 6.0; nb-NO) AppleWebKit/533.18.1 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.67 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.1 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.14 (KHTML, like Gecko) Chrome/24.0.1292.0 Safari/537.14",
    "Mozilla/5.0 (Windows NT 4.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1464.0 Safari/537.36",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; Media Center PC 6.0; InfoPath.3; MS-RTC LM 8; Zune 4.7)",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.1 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.2; rv:21.0) Gecko/20130326 Firefox/21.0",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.2 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10; rv:33.0) Gecko/20100101 Firefox/33.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.1 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36",
    "Mozilla/5.0 (X11; Linux x86_64; rv:28.0) Gecko/20100101  Firefox/28.0",
    "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20120101 Firefox/29.0",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.62 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1667.0 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.1; rv:21.0) Gecko/20130401 Firefox/21.0",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.67 Safari/537.36",
    "Mozilla/5.0 (Windows x86; rv:19.0) Gecko/20100101 Firefox/19.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1309.0 Safari/537.17",
    "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2225.0 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1667.0 Safari/537.36",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0 Safari/605.1.15",
]
headers = {
            "user-agent":random.choice(ualist)
        }
for n in range(1,12):
    url=f'https://imoemei.com/meinv/page/{n}'
    resp=requests.get(url,headers)
    exSoup=bs4.BeautifulSoup(resp.text,'html.parser')
    onePage=exSoup.select('h2')
    oneLink=re.findall(r'<a href="(.*?)">',str(onePage))
    oneNames=re.findall(r'html">(.*?)</a>',str(onePage))
    for ones in range(len(oneLink)):
        header = {
            "user-agent": random.choice(ualist)
        }
        print("\033[0;31m%s\033[0m" % f"------------正在下载{oneNames[ones]}小姐姐图片------------")
        #访问二级页面
        tworesp=requests.get(url=oneLink[ones],headers=header)
        twoSoup=bs4.BeautifulSoup(tworesp.text,'html.parser')
        twoPage=twoSoup.select('img[src]')
        jpgs=re.findall(r'<img src="(.*?)"/>',str(twoPage))
        #保存图片
        for i in range(len(jpgs)):
            print(f'{jpgs[i]}')
            try:
                jpg = requests.get(url=jpgs[i],headers=header)
                with open(f'D:/爬取图片/萌妹子/{oneNames[ones]}{i}.jpg','wb') as f:
                    f.write(jpg.content)
                time.sleep(0.1)
                print(f'{oneNames[ones]}{i}.jpg下载完成!')
            except:
                print(f'{oneNames[ones]}{i}.jpg下载失败！')
        tworesp.close()
    resp.close()
    print('\033[45m------------------------------------------------------------------')
    print(f'\033[45m第{n}页全部保存完毕')

2.运行结果

在这里插入图片描述

3.成品欣赏

在这里插入图片描述
截止到目前正在爬第8页,已经有1700+图🤭🤭🤭🤭

best-storm
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python-基于Python的scrapy爬虫框架实现爬取招聘网站的信息到数据库
08-10
基于Python的scrapy爬虫框架实现爬取招聘网站的信息到数据库
从零开始的爬虫生涯（三）：爬取小姐姐的照片③（网站已停用）
fishfuck的博客
07-23 216
文章目录前言思路分析1.页面源码分析2.爬虫思路爬虫代码1.开发环境2.代码分解（1）.引入库（2）获取每个页面的地址（3）.获取每张图片的地址（4）.保存图片到指定文件夹3.整体代码爬取结果 前言 从这篇文章开始，我们将通过连续的几篇文章来爬取某妹网（url ：https://imoemei.com/）的所有小姐姐照片。借这个例子我们一起学习简易的python爬虫。 前面的文章请看 从零开始的爬虫生涯（一）：爬取小姐姐的照片① 从零开始的爬虫生涯（二）：爬取小姐姐的照片② 思路分析 1.页面源码分析 经
使用Beautifulsoup爬取摄图网图片
sl01224318的博客
04-21 3235
本人python小菜鸟一枚（可能连菜鸟也算不上，哈哈！）最近在学爬虫，在这里记录一些随笔，希望和大家一起分享，愿和大家一起成长！ Beautifulsoup作为一个强大的解析库，它借助网页的结构和属性等特征来解析网页。有了它，我们可以不用再去写一些复杂的正则表达式，只需要简单的几天语句，就可以完成网页中的某个元素的提取，话不多说，下面以实例来进行说明。 首先我...
Python使用xpath实现图片爬取
菜鸟教程
11-18 3006
更多编程教程请到：菜鸟教程 https://www.piaodoo.com/ 友情链接：好看站 http://www.nrso.net/ 高州阳光论坛https://www.hnthzk.com/ 高性能异步爬虫 目的：在爬虫中使用异步实现高性能的数据爬取操作 异步爬虫的方式： - 多线程、多进程（不建议）： 好处：可以为相关阻塞的操作单独开启多线程或进程，阻塞操作就可以异步执行; 弊端：无法无限制的开启多线程或多进程。 - 线程池、进程池（适当的使用）： 好处：我们可以降低系统对进
python爬图片_Python爬虫下手，就得从高清美图开始！附教程
weixin_39831039的博客
11-27 220
写在前面前几天玩游戏时，lol盒子右下角有条广告，广告大概这个样子伸手党请戳文章尾部咦，小姐姐，还有cosplay，点进去看看。哇，发现一个好玩的网站，好多漂亮的妹子，页面打开很流畅，点开后有的浏览页面还有好听的音乐，产品体验极佳。不过每组图片只能看前几张图，后面的图只能看到缩略图，如果想继续看或者打包下载得花银子，通常要1-5rmb。ctrlC+ctrlV几张后不乐意了，这么保存一来看不到全部图...
从img中提取图片地址
y1668239128的博客
12-29 2244
代码 <!doctype html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, user-scalable=no, initial-scale=1.0, maximum-scale=1.0, minimum-scale=1.0"> <meta ht
Python爬虫案例1：爬取淘宝网页数据
10-27
淘宝网页爬虫代码以及爬取的芒果、草莓、鸭舌帽数据excel文件
Python爬虫案例2：爬取前程无忧网站数据
10-27
Python爬虫案例2：爬取前程无忧网站数据，资源包含爬虫程序，爬虫解析程序，爬取数据excel文件
python爬虫基础操作：爬取MySQL数据库存储的信息
12-20
本文实例讲述了Python3爬虫学习之MySQL数据库存储爬取的信息。分享给大家供大家参考，具体如下： 数据库存储爬取的信息（MySQL） 爬取到的数据为了更好地进行分析利用，而之前将爬取得数据存放在txt文件中后期处理...
小白学 Python 爬虫（25）：爬取股票信息
12-22
人生苦短，我用 Python 前文传送门： 小白学 Python 爬虫（1）：开篇 小白学 Python 爬虫（2）：前置准备（一）基本类库的安装 小白学 Python 爬虫（3）：前置准备（二）Linux基础入门 小白学 Python 爬虫（4）：...
http://caomaoav.top/index.php,hkfeed-dev/2014-11-04-passwords.txt at master · threatbot/hkfeed-dev ·...
热门推荐
weixin_30838971的博客
03-11 11万+
~!@#$%^&~!@#$%^&*()_-!@#$%^!@#$%^&@#$%^&@#$%&000000000000000000000001xiaoqiang0061qiqi00852880.1230.1234012345012345601234567012345678901280128014703210557wuchenli06102012072752712...
Python爬取美桌网美女图片
w632782651的博客
04-20 3161
因个人工作需要，想从网上爬一些美女图片当配图，于是搜到了美桌网，在meinvtag***标签下有一些高清美女图片，正符合我的需要，因此写了个简单爬虫下载。 首先观察网站特点。以meinvtag2标签为例，总共有5个页面，类似于http://www.win4000.com/meinvtag2_1.html，最后的数字代表页数，是爬虫最喜欢的url构成，直接可以开5个线程单独处理。在页面html源码...
网络美女爬取
COS0度
04-29 2459
重要提醒：网络爬取盗亦有道，本教程仅做技术交流，不做任何商业用途，请大家遵守网络商业环境 #编程新人第一次写文章，技术不成熟之处望各位大神轻喷，指出来我也可以更快进步，谢谢大家了!!!提前谢谢大家的一键三连 #这是爬取后的结果，可自定义爬取页数，我这里只爬取了2页（手机热点开着爬取，爬多了流量着不住啊！！！o(╥﹏╥)o） 先看看爬取结果吧~ 1、技术路线 requests：网页请求 BeautifulSoup：解析html网页 re：正则表达式，提取html网页信息 os：保存文件 import re
美图收割机，老司机带你用Python，轻松获取1000张美女图片
github_54341053的博客
08-25 750
牛老师是一个滴水之恩当涌泉相报的人。 看着群里小伙伴们的无私分享，再看看自己空空如也的文件夹，我羞愧的低下了头 。 为了能回报小伙伴，和广大无私的网友 牛老师毅然决然的做出了这个造福人民的决定 靠着这个程序，如今已经成为了群里众人膜拜的大佬 接下来牛老师将法宝传授给你们，让你们也能拥有属于自己的“学习资料” 开发环境 系统：Windows10 64位 Python版本：3.9 Pycharm版本：2021.1.3 模块（库）：re、requests、os、BeautifulSoup
Scrapy 分页爬取
weixin_41311176的博客
10-15 771
import scrapy from testSpider.items import TestspiderItem class MeinvSpider(scrapy.Spider): name = 'meinv' allowed_domains = ['www.3gbizhi.com'] start_urls = ['http://www.3gbizhi.com/meinv/'] page = 2 page_url = 'https://www.3gbizhi.c
下载萌妹子图
萧鼎的博客
06-30 369
from selenium import webdriver from selenium.webdriver.chrome.options import Options import time p=int(input('请输入p的值，即（p+1）*40：')) url="https://imoemei.com/" a=[] chrome_options=Options() chrome_options.add_argument('--headless') driver=webdriver.Chrome(ch
从零开始的爬虫生涯（二）：爬取小姐姐的照片②（网站已停用）
fishfuck的博客
07-22 271
文章目录前言需要爬取的页面展示思路分析1.页面源码分析2.爬虫思路爬虫代码1.开发环境2.代码分解（1）.引入库（2）.获取每张图片的地址（3）.保存图片到指定文件夹3.整体代码爬取结果 前言 从这篇文章开始，我们将通过连续的几篇文章来爬取某妹网（url ：https://imoemei.com/）的所有小姐姐照片。借这个例子我们一起学习简易的python爬虫。 前一篇文章请看 从零开始的爬虫生涯（一）：爬取小姐姐的照片① 需要爬取的页面展示 思路分析 1.页面源码分析 由于上次我们已经把一个页面的小
这两个图片链接是上传在哪个平台提取的网址
最新发布
cai103935549的博客
01-30 328
https://p.qlogo.cn/hy_personal/3e28f14aa05168426cae603eab94b36a5c564c0725228ac770b1c4f06ef562ce/0.pnghttps://m.360buyimg.com/babel/jfs/t1/165275/4/26828/43102/62f0c2bdE3157bc11/995f301a5c448b01.png
模仿meinv站优化
网络乞丐
10-04 605
发现一个值得学习的SEO站:关键词:meinv,mei nvhttp://www.meinv.cc/ http://www.blog1979.com/
python爬虫抓取图片-简单的python爬虫教程：批量爬取图片
05-19
好的，下面是一个简单的 Python 爬虫教程，可以批量爬取指定网站的图片： 首先，我们需要安装 requests 和 BeautifulSoup 这两个库。可以通过以下命令进行安装： ``` pip install requests pip install beautifulsoup4 ``` 接下来，我们需要编写代码。以下是一个示例代码，可以爬取指定网站的图片并保存到本地： ```python import requests from bs4 import BeautifulSoup import os # 爬取图片的网站 url = "https://www.example.com/" # 请求头，模拟浏览器访问 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"} # 发送请求，获取网页内容 response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, "html.parser") # 创建保存图片的文件夹 if not os.path.exists("images"): os.makedirs("images") # 遍历所有的图片标签，获取图片链接并保存到本地 for img in soup.find_all("img"): img_url = img.get("src") if img_url.startswith("http"): response = requests.get(img_url) with open("images/" + os.path.basename(img_url), "wb") as file: file.write(response.content) print("已保存图片：", img_url) ``` 在上述代码中，我们首先定义了要爬取的网站的 URL。然后，我们使用 requests 库发送一个 GET 请求，获取网页的 HTML 内容。接着，我们使用 BeautifulSoup 库对 HTML 进行解析，获取所有的图片标签。最后，我们使用 requests 库再次发送 GET 请求，获取图片的二进制数据，并保存到本地的 images 文件夹中。 注意，这里我们使用了一个 if 判断来过滤掉非 HTTP 开头的图片链接，以避免出现下载错误的情况。 为了更好的用户体验，代码中还加入了一些注释，方便大家理解。 希望这个简单的 Python 爬虫教程能对你有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值