scrapy爬虫-爬取wattpad外网小说网站

最新推荐文章于 2024-07-10 17:31:12 发布

=-=会飞起来的哈士奇

最新推荐文章于 2024-07-10 17:31:12 发布

阅读量2.5k

点赞数

文章标签： python xpath

本文链接：https://blog.csdn.net/weixin_42873348/article/details/108713485

版权

本文介绍了一个使用Python的Scrapy框架爬取Wattpad外网小说网站的初步尝试。目前实现了基本内容的抓取，但仍有三个功能未完成：一是将parse1和parse2的抓取内容整合；二是未能根据阅读量获取作者信息；三是内容未保存到数据库。作者期待有经验的大佬提供指导。

摘要由CSDN通过智能技术生成

目前还在学习爬虫scrapy框架，尝试爬取外网的小说网站：https://www.wattpad.com/stories/adventure
目前只是实现了一部分非常简单的内容爬取
还未实现的功能
‘’‘

1、将parse1和parse2 的内容结合到一起

2、没有实现根据阅读量去提取作者信息

3、没有实现将内容保存到数据库中

‘’‘’
有大佬看了可以指点一下吗？
代码如下：

import scrapy
import re
import urllib.response as ur
import lxml.etree as le



# 1、将parse1和parse2 的内容结合到一起
# 2、没有实现根据阅读量去提取作者信息
# 3、没有实现将内容保存到数据库中




class WpSpider(scrapy.Spider):
    name = 'wp'
    # allowed_domains = ['wattpad']

    def start_requests(self):
        # yield scrapy.Request(