Python爬虫之女神网图片（三）

最新推荐文章于 2024-07-22 17:25:13 发布

一摩尔自由

最新推荐文章于 2024-07-22 17:25:13 发布

阅读量2w

点赞数 1

分类专栏：数据挖掘

本文链接：https://blog.csdn.net/Barry_J/article/details/80506754

版权

本文介绍了如何使用Python爬虫抓取女神网的图片。通过分析网站结构，利用requests、re等库获取图片集链接，并通过BeautifulSoup解析详情页，抓取图片标题、地址和数量。借助os库进行文件保存，使用pymongo存储数据。尽管爬取过程相对简单，但提出了优化方案，如预先验证有效图片地址并引入多线程提高效率。

摘要由CSDN通过智能技术生成

女神网是一个可以搜索女神的图片的网站。

废话不说，直接来干货：

环境配置：

系统环境：WIN7/8/10
编译环境：Python3+
所需库：requests、re、os、pymongo、Beatifulsoup、time
IDE:Pycharm

nvshen.py

#!/usr/bin/python
# -*- coding: utf-8 -*-

import requests
from requests import RequestException
from bs4 import BeautifulSoup
import re
from multiprocessing import Pool


# import pymongo

# from config import *
import os
import time

start=24656#起始图片ID，打开任何一个图集，链接最后的那一串数字，五位数。
end=25370#终止图片ID，起始初始建议间隔大一些，然后然他自动遍历搜索有效地址

# MONGO_URL = 'localhost'#建立数据库基本参数，并且连接本地MONGODB数据库。
# MONGO_DB = 'nvshens'
# MONGO_TABLE = 'piture'
# client = pymongo.MongoClient(MONGO_URL,connect=False)#声明MONGODB数据库对象，connect=False是为了消除MONGODB有关多线程的提示
# db=client[MONGO_DB]#数据库名称

base_url='https://www.nvshens.com/g/'#宅男女神美图图片专栏下的基本网址

headers1={
"Accept":"text/html,application/xhtml