selenium + 异步爬取豆瓣阅读

于 2023-04-07 21:37:10 发布
阅读量1.1k 收藏 3
点赞数 3
文章标签： selenium python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_76282650/article/details/130020330
版权

前几天爬取豆瓣的时候，以为豆瓣是没有反爬的，直到碰到了豆瓣阅读...

这里是官网：https://read.douban.com/ebooks/?dcs=original-featured&dcm=normal-nav

需求：爬取里面13个图书类别，每个类别500本，最后保存到excel表中

这是包含书本链接url的负载 ，如果有大佬可以逆向出来，就可以不用selenium

 用到的工具：asyncio,aiohttp,time,openpyxl,lxml,selenium

import asyncio
import aiohttp
import time
import openpyxl
from lxml import etree
from selenium import webdriver
from selenium.webdriver.common.by import By

先导入包

def chu(q):
    url = []
    option = webdriver.ChromeOptions()
    option.add_experimental_option('detach', True)
    driver = webdriver.Chrome(chrome_options=option)#初始化一个Chrome对象
    driver.get('https://read.douban.com/ebooks/?dcs=original-featured&dcm=normal-nav')
    #请求url
    time.sleep(2)
    #等待页面加载

    page = driver.page_source
    tree = etree.HTML(page)#解析页面源代码
    #豆瓣会对频繁访问的ip进行登陆验证，所以这里使用try防止报错
    try:
        #如果没有登陆验证的话
        lei_url = tree.xpath('//ul[@class="list kinds-list tab-panel"]//a/@href')
        #获取每个类别的url

        lei = driver.find_element(By.XPATH,f'//ul[@class="list kinds-list tab-panel"]/li/a[@href="{lei_url[q]}"]')

        lei.click()
        #模拟点击，进入类别相应的页面

    except:
        #如果有登录验证的话
        login = input('请在网页上进行登录，登录完成后输入1：')
        #手动登录，因为需要滑块验证码，本人技术层次没那么高
        time.sleep(2)
        #等待页面加载
        lei_url = tree.xpath('//ul[@class="list kinds-list tab-panel"]//a/@href')
        

        lei = driver.find_element(By.XPATH, f'//ul[@class="list kinds-list tab-panel"]/li/a[@href="{lei_url[q]}"]')
        lei.click()
        #和上面同样的做法
    count = 1
    while count <31:
        time.sleep(2)
           #等待页面加载
        page = driver.page_source
        tree = etree.HTML(page)
        #获取每本书的url
        print('正在抓取url')
        url.append(tree.xpath('//ul[@class="works-list"]/li/@to'))
        time.sleep(1)
        driver.find_element(By.XPATH,'//div[@class="paginator-full"]//a[@class="page-next"]').click()
        #模拟点击，进入下一页，循环，直到满30页
        count += 1

    driver.quit()
    return url

selenium模拟采集url，返回的数据是一个列表，每20个url为一个元素，方便后面进行异步操作。

接下来进行对书本信息进行采集

book_page = []
#用来存储书本信息
async def pa_book(url#传入url,q#判断书本类别):
#使用异步函数，大大节省运行时间
    count = 0
    b = []
    header = {
        'User-Agent': '你的ua',
        'Cookie': '浏览器里自行复制'
    }#豆瓣cookie是固定的，我们复制下来一段，保持登陆状态
    async with aiohttp.ClientSession() as session:
        #初始化一个session对象
        async with await session.get(url=url,headers=header) as resp:
            #对页面发起请求
            tree = etree.HTML(await resp.text())
            #用xpath进行解析
            try:
                #因为有些书本信息不全，防止报错，我们直接使用try
                o = 0
                zuozhe = tree.xpath('//div[@class="article-meta"]//text()')
                prise = tree.xpath('//s[@class="original-price-count"]/text()')[0]
                mingzi = tree.xpath('//span[@itemprop="itemListElement"]//span[@itemprop="name"]/text()')[0]
                pingjia = tree.xpath('//span[@class="amount"]/text()')[0]
                #存入信息
                b.append(mingzi)
                b.append(mane[q])
                b.append(zuozhe[zuozhe.index('类别') + 1])
                b.append(zuozhe[zuozhe.index('作者') + 1])
                b.append(zuozhe[zuozhe.index('出版社') + 1])
                b.append(zuozhe[zuozhe.index('提供方') + 1])
                b.append(zuozhe[zuozhe.index('字数') + 1])
                b.append(zuozhe[zuozhe.index('ISBN') + 1])

                b.append(pingjia)
                b.append(prise)
                book_page.append(b)
            except:
                #跳过不全的书本
                count += 1

这样书本信息就采集好了，接下来存入excel表中

我们需要准备一个名称为书籍.xlsx.的文件不然会报错

def cun():
    w = 2
    wb = openpyxl.load_workbook('书籍.xlsx')
    ws = wb['Sheet1']
    top = ['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J']
    for o in book_page:


        count = 0
        for j,i in zip(o,top):
            ws[f'{i}{w}'] = j
            count +=1
        w = w+1
    #这个很简单写写循环就可以了
    wb.save('书籍.xlsx')

最后一步代码运行

for q in range(14):
    p = 1
    for url in chu(q):
        task = []

        for i in url:
            task.append(pa_book(f'https://read.douban.com{i}',q))
            #注册进循环里
        print(f'正在爬取第{p}页------------')
        p += 1
        loop = asyncio.get_event_loop()

        loop.run_until_complete(asyncio.wait(task))
        #运行
        time.sleep(2)
        #等待2秒防止访问被拒
        print('success')
cun()
#存入数据

完整代码实现

import asyncio
import aiohttp
import time
import openpyxl
from lxml import etree
from selenium import webdriver
from selenium.webdriver.common.by import By
start_time = time.time()
mane = ['小说', '文学', '人文社科', '经济管理', '科技科普', '计算机与互联网', '成功励志', '生活', '少儿', '艺术设计', '漫画绘本', '教育考试', '杂志']
def chu(q):
    url = []
    option = webdriver.ChromeOptions()
    option.add_experimental_option('detach', True)
    driver = webdriver.Chrome(chrome_options=option)
    driver.get('https://read.douban.com/ebooks/?dcs=original-featured&dcm=normal-nav')

    time.sleep(2)


    page = driver.page_source
    tree = etree.HTML(page)
    try:
        lei_url = tree.xpath('//ul[@class="list kinds-list tab-panel"]//a/@href')
        lei_name = tree.xpath('//ul[@class="list kinds-list tab-panel"]//a/text()')

        lei = driver.find_element(By.XPATH,f'//ul[@class="list kinds-list tab-panel"]/li/a[@href="{lei_url[q]}"]')
        lei.click()

    except:
        login = input('请在网页上进行登录，登录完成后输入1：')
        time.sleep(2)
        lei_url = tree.xpath('//ul[@class="list kinds-list tab-panel"]//a/@href')
        lei_name = tree.xpath('//ul[@class="list kinds-list tab-panel"]//a/text()')

        lei = driver.find_element(By.XPATH, f'//ul[@class="list kinds-list tab-panel"]/li/a[@href="{lei_url[q]}"]')
        lei.click()
    count = 1
    while count <9:
        time.sleep(2)
        page = driver.page_source
        tree = etree.HTML(page)
        print('正在抓取url')
        url.append(tree.xpath('//ul[@class="works-list"]/li/@to'))
        time.sleep(1)
        driver.find_element(By.XPATH,'//div[@class="paginator-full"]//a[@class="page-next"]').click()
        count += 1

    driver.quit()
    return url
book_page = []
async def pa_book(url,q):
    count = 0
    b = []
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36',
        'Cookie': 'bid=eLRBZmbY55Y; dbcl2="267875740:kPdFiwjWprY"; ck=ijB_; _ga=GA1.3.133779158.1679229659; _gid=GA1.3.10458227.1679229659; _pk_ref.100001.a7dd=%5B%22%22%2C%22%22%2C1679229659%2C%22https%3A%2F%2Faccounts.douban.com%2F%22%5D; _pk_ses.100001.a7dd=*; _ga=GA1.1.133779158.1679229659; __gads=ID=de972e154c2fef7a-22a0163bd5de0064:T=1679229662:RT=1679229662:S=ALNI_MaXNgyOFMsVTnhbnDSgMLFd_tnQ5w; __gpi=UID=00000bdc08bc9484:T=1679229662:RT=1679229662:S=ALNI_MY0Iz9JEbO8VuYeFJ3xJQOu75jnQw; _ga_RXNMP372GL=GS1.1.1679229658.1.1.1679229769.56.0.0; _pk_id.100001.a7dd=d883665af68561be.1679229659.1.1679229771.1679229659.'
    }
    async with aiohttp.ClientSession() as session:
        async with await session.get(url=url,headers=header) as resp:

            tree = etree.HTML(await resp.text())
            try:
                o = 0
                zuozhe = tree.xpath('//div[@class="article-meta"]//text()')
                prise = tree.xpath('//s[@class="original-price-count"]/text()')[0]
                mingzi = tree.xpath('//span[@itemprop="itemListElement"]//span[@itemprop="name"]/text()')[0]
                pingjia = tree.xpath('//span[@class="amount"]/text()')[0]
                b.append(mingzi)
                b.append(mane[q])
                b.append(zuozhe[zuozhe.index('类别') + 1])
                b.append(zuozhe[zuozhe.index('作者') + 1])
                b.append(zuozhe[zuozhe.index('出版社') + 1])
                b.append(zuozhe[zuozhe.index('提供方') + 1])
                b.append(zuozhe[zuozhe.index('字数') + 1])
                b.append(zuozhe[zuozhe.index('ISBN') + 1])

                b.append(pingjia)
                b.append(prise)
                book_page.append(b)
            except:
                count += 1

def cun():
    w = 2
    wb = openpyxl.load_workbook('书籍.xlsx')
    ws = wb['Sheet1']
    top = ['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J']
    for o in book_page:


        count = 0
        for j,i in zip(o,top):
            ws[f'{i}{w}'] = j
            count +=1
        w = w+1
    wb.save('书籍.xlsx')

for q in range(14):
    p = 1
    for url in chu(q):
        task = []

        for i in url:
            task.append(pa_book(f'https://read.douban.com{i}',q))
        print(f'正在爬取第{p}页------------')
        p += 1
        loop = asyncio.get_event_loop()

        loop.run_until_complete(asyncio.wait(task))
        time.sleep(2)
        print('success')
cun()
end_time = time.time()
run_time = -start_time+end_time
print(f'本次运行时间为{run_time}s')

我加了一个运行时间显示

注意：1.代码运行过程中如果停止那么信息会全部丢失，前功尽弃，可以通过修改循环次数来控制爬取量

2.还是会有封ip的风险，如果没有爬过豆瓣的可以一次性爬完，可以加代理ip

本人爬虫萌新，纯粹练手，如有侵权请告知，希望大佬们多提建议

2301_76282650
关注
  • 3
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
selenium + phantomJS 爬取 （豆瓣读书）
blue_lll的博客
05-08 267
selenium + phantomJS 爬取 （豆瓣读书） from selenium import webdriver import time from lxml import etree import pymysql import re 创建一个函数 def my_brower(url,page): # 获取浏览器对象 browers = webdriver.PhantomJS(execut...
爬虫入门经典(十四) | 使用selenium尝试爬取豆瓣图书
热门推荐
不温卜火
10-30 6万+
  大家好，我是不温卜火，是一名计算机学院大数据专业大三的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只在csdn这一个平台进行更新，博客主页：https://buwenbuhuo.blog.csdn.net/。 PS：由于现在越来越多的人未经本人同意直接爬取博主本人.
豆瓣有无验证码登陆+selenium
weixin_33951761的博客
08-21 342
from selenium import webdriver import time import requests from lxml import etree import base64 # 操作浏览器 driver = webdriver.Chrome() url = 'https://accounts.douban.com/login?alias=&redir...
用java编写基于selenium的方式抓取豆瓣读书书籍内容
一群专业码农的笔记本
06-21 1032
用java编写基于selenium的方式爬取豆瓣读书书籍内容爬虫的早期感想处理思路顺序需求选型实践源代码selenium设计模式访问入口 爬虫的早期感想 很久以前，生活中使用c#和java分别写过网页游戏外挂，通过语言中内置的浏览器控件进行爬取数据，并发送新的指令，非常有意思，既能研究爬虫相关技术又能实践在休闲生活中。 后面也有在工作中，定时爬取中国天气预报官方信息，提供给前端主页显示天气信息。 处理思路顺序 需求 有朋友需要帮忙收集豆瓣读书中的书籍信息，根据传入的书丛地址，获取书丛中的书籍的信息、封
Selenium+BeautifulSoup爬取豆瓣阅读书籍
weixin_45179605的博客
09-27 355
爬取豆瓣书籍的封面地址、书名、作者、简介、书籍类型、字数、原价、折扣价等信息，将信息保存到csv文件中。 # -*- coding: UTF-8 -*- import time import re from selenium import webdriver from bs4 import BeautifulSoup class DoubanSpider(object): def __init__(self): self.base_url = "https://read.d
爬虫练习合集的压缩包，包括爬取豆瓣TOP250的信息、爬取中文网小说信息以及十个爬虫练习
最新发布
09-12
首先，我们来看"豆瓣TOP250.py"，这很可能是实现爬取豆瓣电影Top250的Python脚本。在这一实践中，学习者会接触到如何使用Python的requests库来发送HTTP请求获取网页内容，然后使用BeautifulSoup或lxml等库解析HTML...
豆瓣电影及电视剧影视剧信息爬取
06-06
10. **实战经验**：实践是检验理论的最好方式，通过实际爬取豆瓣电影和电视剧数据，可以深入了解网络爬虫的完整流程，从需求分析、设计、编码到测试。 在项目实施过程中，开发者可能需要面对各种挑战，如动态加载...
Python豆瓣电影评论爬虫（request）
06-23
豆瓣评论数据可能通过Ajax异步加载，因此可能需要使用到如Selenium这样的浏览器自动化工具或者使用`requests`库配合`Scrapy`框架的`Middleware`来模拟浏览器行为。 在解析返回的HTML内容时，可以使用`BeautifulSoup...
新版本抓取豆瓣图书_java_
10-02
在实际抓取过程中，为了提高效率，我们可以采用多线程或者异步IO的方式并行处理多个请求。Java并发库提供了ExecutorService和Future等工具，可以方便地创建线程池和管理任务。 此外，抓取过程中可能遇到的反爬策略...
如何利用python爬取互联网公开数据
04-02
1. **寻找爬取目标**：明确你要从哪个网站获取信息，例如，如果你想爬取豆瓣电影的分类信息，那么目标就是豆瓣电影网站。 2. **选择合适的库**：Python 提供了多个库用于网络爬虫，如 Requests（发起 HTTP 请求）、...
scrapy利用selenium爬取豆瓣阅读的全步骤
09-24
主要给大家介绍了关于scrapy利用selenium爬取豆瓣阅读的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
selenium登录豆瓣网
weixin_30437481的博客
07-04 215
登录流程： 实例化一个driver，然后driver.get()发送请求 最重要的：切换iframe子框架，因为豆瓣的网页中的登录那部分是一个ifrme，必须切换才能寻找到对应元素 利用selenium切换到账号密码登录 利用selenium输入账户和密码 利用selenium点击登录按钮 然后利用字典推导式保存了一下cookie 代码实现： 1 impor...
selenium登录豆瓣(带滑块验证)
weixin_49320055的博客
04-12 4732
import time import requests from selenium import webdriver from selenium.webdriver.common.by import By import cv2 from selenium.webdriver import ActionChains from selenium.webdriver.chrome.options import Options def pageRes(url): """ 获取验证码图片响应 .
selenium模拟登录豆瓣网
qq_44739762的博客
09-27 664
豆瓣网有手机版和电脑版，两个有点不同。 1、登录流程 1、手机版 实例化driver，driver.get()发送请求 重点1：要先切换到iframe子框架，因为登录部分是放在iframe标签中，必须切换才能寻找到对应元素 重点2：要先点击用密码登录的按钮，不然找不到输入账号和密码的地方，还会报错NoSuchElementException: Message: no such element: ...
selenium登录豆瓣网源码
xlionsky的博客
01-07 596
from selenium import webdriver from selenium.webdriver import ActionChains from selenium.webdriver.support.wait import WebDriverWait from selenium.webdriver.common.by import By def get_tracks(distance): """ 匀变速运动基本公式： ①v = v0+at ②s = v0t+
使用selenium模拟豆瓣登录
qq_20528497的博客
02-09 1175
思路:使用selenium和chrome浏览器请求豆瓣网页，然后获取账号，密码输入框的位置，登录按钮的位置。 暂停1秒，再输入账号和密码。最后点击登录完成 所用技术：selenium 模块+chrome浏览器+time模块+requests模块 代码: from selenium import webdriver import time import requests account =input...
selenium模拟登录豆瓣（带滑动验证码）
qq_44628911的博客
11-26 1616
最近学习爬虫基础模拟登录豆瓣网站，记录下。网络比较卡，加的隐式等待时间比较多 全部代码： from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By from selenium.webdriver import ActionChains def get_tracks(distance): """ ..
爬虫（五）：动态html --- 反爬策略，selenium + phantomjs，案例：爬取豆瓣图书（页面内容是 js 代码，获取加密数据）
吃瓜群众的博客
05-24 1304
1、反爬策略 2、html页面技术 3、selenium 和 phantomjs 4、selenium 的三种等待 5、案例：爬取豆瓣图书（获取加密数据）
记录一次用selenium登录豆瓣网
weixin_44841849的博客
03-03 312
一开始用插件得到代码（参考之前写的katalon recorder插件），然后登录豆瓣，发现死都得不到username框。 后面得知它是用了iframe标签，而selenium是得不到的。必须要切换才行 直接参考两处： selenium登录豆瓣：https://blog.csdn.net/qq_43391383/article/details/86770046 selenium遇上iframe：h...
python selenium爬虫豆瓣_使用selenium+requests爬取豆瓣小组讨论列表
06-07
好的，可以的。你需要先安装selenium和requests库，然后下载对应的浏览器驱动，比如Chrome驱动。 以下是一个简单的例子，使用selenium打开豆瓣小组讨论列表页面并获取数据： ```python import time import requests from selenium import webdriver # 设置浏览器驱动路径 driver_path = '/path/to/chromedriver' # 设置浏览器参数 options = webdriver.ChromeOptions() options.add_argument('--headless') options.add_argument('--disable-gpu') options.add_argument('--no-sandbox') # 启动浏览器 driver = webdriver.Chrome(executable_path=driver_path, options=options) # 打开网页 url = 'https://www.douban.com/group/explore' driver.get(url) # 等待页面加载 time.sleep(2) # 获取页面源码 html = driver.page_source # 关闭浏览器 driver.quit() # 使用requests库处理数据 # TODO: 解析html并获取需要的信息 ``` 在这个例子中，我们使用了Chrome浏览器，并且设置了一些参数，比如无头模式等。然后打开豆瓣小组讨论列表页面，等待页面加载完毕后，获取页面源码并关闭浏览器。最后可以使用requests库来处理页面数据，比如解析HTML并获取需要的信息。 注意：使用selenium爬虫需要注意反爬机制，避免被封IP。建议设置合理的访问时间间隔，并使用代理IP等反反爬措施。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值