![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Scrapy
文章平均质量分 66
笔记本IT
一个正在疯狂练英语口语以及学嵌入式的准爱尔兰留学生,希望和你在英语和编程技术方面一起进步!
展开
-
2021/6/17爬虫第二十五次课(scrapy_reids补充)
scrapy_reids补充 学习目标 1 通过一个案例改成成scrapy_redis 当当网 2 案例练习 小说 盗墓笔记 1 当当网 当当网 http://book.dangdang.com/ 思路:先实现普通的scrapy爬虫,然后在改写成scrapy_redis **第一步 页面分析** 需求:大分类 二级分类 三级分类 图书的名字和图片的src 大分类 整个大分类都在 div con flq_body 它下面的 div/dl/dt 注意:1 在大分类中有一个span标签,但是源码中没有原创 2021-07-04 23:49:39 · 174 阅读 · 2 评论 -
2021/6/15爬虫第二十四次课(redis常用五大数据类型--set与zset、python操作redis、scrapy分布式爬虫实现)
这半个月停更python的学习内容,是因为准备期末考试,害。 现在考完了,今天开始将疯狂学python和java, 哈哈。 期间学到的心得和体会,我都会毫无保留的分享,请大家多多关照 よろしくお願いします 잘 부탁드립니다. I’d appriciate your attention for our first meeting 文章目录一、redis-set二、redis-zset三、python操作redis四、scrapy分布式爬虫实现4.1 什么是scrapy_redis4.2 scr原创 2021-07-02 21:14:18 · 156 阅读 · 1 评论 -
2021/6/13爬虫第七次周复盘
(码前) 页面分析 真正理解代码 (run前) 注意缩进 看是否有明显错误 (出现BUG) 先看URL yield xpath settings 细节: 使用Images Pipeline下载图片时,images文件夹要自己建 解析数据 xpath 先在草稿纸上写下来 json.loads(response.text) 即通过字典 ...原创 2021-06-13 22:10:14 · 406 阅读 · 3 评论