![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
自带buff
这个作者很懒,什么都没留下…
展开
-
scrapy Selector用法及xpath语法
准备工作html示例:<?xml version="1.0" encoding="UTF-8"?><html<head> <title>text</title></head><body><div class="cdiv"> <p class="cp1 section"&...原创 2020-04-07 16:56:27 · 3046 阅读 · 0 评论 -
使用scrapy-selenium, chrome-headless抓取动态网页
在使用scrapy抓取网页时, 如果遇到使用js动态渲染的页面, 将无法提取到在浏览器中看到的内容. 针对这个问题scrapy官方给出的方案是scrapy-selenium, 这是一个把selenium集成到scrapy的开源项目, 它使用selenium抓取已经渲染好(js代码已经执行完成)的动态网页. &nbs...原创 2020-03-31 22:22:32 · 302 阅读 · 0 评论