动漫之家《妖神记》爬虫(2021-01-09)

本文介绍了一次针对动漫之家《妖神记》的爬虫实践,涵盖了自动创建目录、HTML切片、BS4解析、URL拼接、防爬策略、结果排序、图片保存和正则表达式等技术。通过这个项目,读者可以学习到网络爬虫的基本技巧和实战经验。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

动漫之家《妖神记》爬虫

目标:动漫之家《妖神记》爬虫,听课习作

目标网址:https://www.dmzj.com/info/yaoshenji.html

主要知识

——自动判断、创建所需目录

——切片知识

——bs4解析库使用技巧

——网址拼接技巧

——初级防爬Referer

——爬取结果反向排序

——图片文件保存

——正则使用

——html.script

程序中有详细步骤、解释


```python
'''
-*- coding: utf-8 -*-
@Author  : hshcompass
@QQ      : 46215528
@Time    : 2021/1/9 14:38
@Software: PyCharm
@File    : 妖神记.py
'''
# 爬取动漫之家----Yaoshenji

# 导入库
import re, os, time, requests
from bs4 import BeautifulSoup

# 保存目录
save_dir = '妖神记'
if save_dir not i
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值