![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy爬虫
文章平均质量分 79
铁盒薄荷糖
这个作者很懒,什么都没留下…
展开
-
【scrapy】3.网易云爬取歌单(元素列表——表达式后添加)
6、对标签列表进行循环遍历,得到单首歌曲的标签信息。# 从单个的音乐标签中筛选出ID信息。直接运行即可爬取网页云某歌单的歌曲。通过在表达式后面添加 [0]原创 2024-07-02 13:40:16 · 229 阅读 · 0 评论 -
【scrapy】3.XPath解析
示例://a[@class='active' and @href='/home'] 可以匹配同时满足 class 属性值为 "active" 和 href 属性值为 "/home" 的 元素。示例://a[@class='active' or @class='highlight'] 可以匹配class属性为"active"或"class"属性为"highlight"的a元素。//父元素名[@属性名1='属性值1']/子元素名[@属性名2='属性值2']:通过指定父元素和子元素的属性条件来定位元素。原创 2024-06-28 15:36:23 · 600 阅读 · 0 评论 -
【scrapy】2.第一个scrapy爬虫项目
参考:python爬虫基础小案例, scrapy框架,思路和经验你全都有。_scrapy爬虫案例python-CSDN博客一、创建爬虫项目1.查看虚拟环境2.切换已安装scrapy的虚拟环境在python 中的终端中,创建scrapy框架。转载 2024-06-26 10:08:12 · 456 阅读 · 0 评论 -
【scrapy】1.scrapy爬虫入门
接收Scrapy Engine(引擎)发送的所有Requests请求,从网上下载数据,并将其获取到的Responses交还给Scrapy Engine(引擎),由引擎交给Spider来处理。例如://div[@classs], //a[@x]:选择具有 class属性的 div节点、选择具有 x属性的 a节点。,它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎需要时,交还给引擎。(2)a // b:表示a下所有b,直接或者间接的。,发起爬虫请求,并解析。原创 2024-06-25 14:35:47 · 921 阅读 · 0 评论