Python爬取单篇漫画并下载到指定的文件夹
初衷
新年在老家网络信号不好,又想看漫画,所以在线指望不上了,所以写个爬虫,把漫画图片抓取到本地离线观看
准备工作
所需要的包,os,requests,urllib,time,BeautifulSoup
先在cmd用pip list查看是否又安装,如果没安装用pip install 安装相应的包
例如:
pip install requests
源码分享
import os
import requests
import urllib
import time
from bs4 import BeautifulSoup
from requests.packages.urllib3.exceptions import InsecureRequestWarning
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)
class hanman_img_spider(object):
# 类的初始化操作
def __init__(self):
# 要访问的网页地址
self.url = 'https://www.****.top/book/334'
self.Hurl = 'https://www.****.top'
# 设置图片要存放的文件目录
self.filename_path = './***/'
# 初始化请求头来模拟浏览器
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Safari/537.36 Edg/98.0.1108.50'
}
def get_soup(self, url):
# 像目标url地址发送get请求,返回一个response对象
resp = requests.get