![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
梦晓时分
这个作者很懒,什么都没留下…
展开
-
scrapy 学习 002
爬取数据写入 mongodb 编辑 pipelines 编辑 pipelines.py 添加 class BiqugePipeline(object): def open_spider(self, spider): client = MongoClient() self.collection = client["biquge"]["novellist"...原创 2019-12-13 11:20:33 · 71 阅读 · 0 评论 -
scrapy 学习 000
scrapy 基本操作 安装 scrapy scrapy startproject spiderproject 创建 spider scrapy genspider spidername spiderwebdomain 执行 spider scrapy crawl spidername -o 保存 spider -o a.json 保存为 a.json 文件 查看项目所有 spiders...原创 2019-12-12 19:24:31 · 80 阅读 · 1 评论 -
scrapy 学习 001
爬取笔趣阁小说目录练习 安装 scrapy scrapy startproject tutorial 创建 items 结构 class Biquge(scrapy.Item): title = scrapy.Field() href = scrapy.Field() 创建 spider scrapy genspider biquge www.xbiquge.la/xia...原创 2019-12-12 11:31:25 · 210 阅读 · 0 评论