python网络爬虫——Scrapy中selenium的使用
引入在通过scrapy框架进行某些网站数据爬取的时候,往往会碰到页面动态数据加载的情况发生,如果直接使用scrapy对其url发请求,是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现,通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据,则必须使用selenium创建浏览器对象,然后通过该浏览器对象进行请求发送,获取动态加载的数据值。今日详情1.案例分析:- 需求:爬取网易新闻的国内、国际、军事、无人机板块下的新闻数据
转载
2020-07-19 09:12:54 ·
630 阅读 ·
0 评论