美空网未登录图片爬取

最新推荐文章于 2022-07-30 16:10:48 发布

原创

最新推荐文章于 2022-07-30 16:10:48 发布 · 2.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Python #Python爬虫 #Python基础

本文介绍了如何编写Python爬虫抓取美空网未登录状态下的图片列表页面。首先分析页面结构，接着编写正则表达式获取所有列表页面，通过循环处理数据并抓取详细页面的图片链接，最终实现图片的本地下载。需要注意路径处理、错误处理以及代码优化，如面向对象和多线程改造。

美空网未登录图片----简介

上一篇写的时间有点长了，接下来继续把美空网的爬虫写完，这套教程中编写的爬虫在实际的工作中可能并不能给你增加多少有价值的技术点，因为它只是一套入门的教程，老鸟你自动绕过就可以了，或者带带我也行。

美空网未登录图片----爬虫分析

首先，我们已经爬取到了N多的用户个人主页，我通过链接拼接获取到了

http://www.moko.cc/post/da39db43246047c79dcaef44c201492d/list.html

在这个页面中，咱们要找几个核心的关键点，发现平面拍摄点击进入的是图片列表页面。
接下来开始代码走起。

获取所有列表页面

我通过上篇博客已经获取到了70000（实际测试50000+）用户数据，读取到python中。

这个地方，我使用了一个比较好用的python库pandas，大家如果不熟悉，先模仿我的代码就可以了，我把注释都写完整。

import pandas as pd

# 用户图片列表页模板
user_list_url = "http://www.moko.cc/post/{}/list.html"
# 存放所有用户的列表页
user_profiles = []

def read_data():
    # pandas从csv里面读取数据
    df = pd.read_csv("./moko70000.csv")   #文件在本文末尾可以下载
    # 去掉昵称重复的数据
    df = df.drop_duplicates(["nikename"])
    # 按照粉丝数目进行降序
    profiles = df.sort_values("follows", ascending=False)["profile"]

    for i in profiles:
        # 拼接链接
        user_profiles.append(user_list_url.format(i))

if __name__ == '__main__':
    read_data()
    print(user_profiles)
Python资源分享qun 784758214 ,内有安装包，PDF，学习视频，这里是Python学习者的聚集地，零基础，进阶，都欢迎

数据已经拿到，接下来我们需要获取图片列表页面，找一下规律，看到重点的信息如下所示，找对位置，就是正则表达式的事情了。