网页HTML上,有些数据是通过JS代码填充,所以如果直接使用爬虫,只会爬取到一个标签,并没有其中的元素。 requests模块和scrapy框架在发起请求爬取数据的过程中,不能执行JS代码。 selenium selenium是一个web端自动化测试框架,可以通过代码来控制浏览器,比如打开关闭,点击等行为。 作用:帮助抓取动态加载的数据,避免反爬