python爬取站_简单python爬虫练习 E站本爬取

必备条件：

一台能上404的机子..

过程：

由于也只是初学爬虫，个中技巧也不熟练，写的过程中的语法用法参考了很多文档和博客，我是对于当前搜索页用F12看过去..找到每个本子的地址再一层层下去最后下载图片...然后去根据标签一层层遍历将文件保存在本地,能够直接爬取搜索页下一整页的所有本，并保存在该文件同级目录下，用着玩玩还行中途还被E站封了一次IP，现在再看觉得很多地方还能改进(差就是还有进步空间嘛，不排除失效的可能

这就是个试验页 别想太多

代码：

from bs4 import BeautifulSoup

import re

import requests

import os

import urllib.request

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36',

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',

'Upgrade-Insecure-Requests': '1'}

r = requests.get("https://e-hentai.org/", headers=headers)

soup = BeautifulSoup(r.text, 'lxml')

divs = soup.find_all(class_='gl3c glname')

# 爬取当前页面的本子网址

for div in divs:

url = div.a.get('href'