Scrapy爬虫代理对接Selenium

最新推荐文章于 2024-05-31 21:24:28 发布

Laicaling

最新推荐文章于 2024-05-31 21:24:28 发布

阅读量381

点赞数

分类专栏：网络爬虫数据采集 http代理文章标签： java javascript

本文链接：https://blog.csdn.net/Laicaling/article/details/108538852

版权

本文介绍了Scrapy爬虫在遇到JavaScript渲染页面时的解决方案，通过对接Selenium来实现动态内容的抓取。Scrapy本身不支持JS渲染，但可以解析Ajax请求或利用Selenium模拟用户行为来获取数据。

摘要由CSDN通过智能技术生成

Scrapy可以直接通过HTTP请求采集数据。scrapy爬虫框架没有提供页面js渲染服务，所以我们获取不到信息，所以我们需要一个渲染引擎来为我们提供渲染服务。
JavaScript渲染的两种方式：
1、解析Ajax请求，对接接口抓取，Scrapy也可以通过这样的方式进行采集。
2、用Selenium或Splash模拟用户采集。
配置代码：

{
   
                "industry_type": "政策",  # 行业类别
                "website_type": "央行",  # 网站/微信公众号名称
                "url_type": "中国人民银行-条法司-规范性文件",  # 网站模块
                "link": "http://www.pbc.gov.cn/tiaofasi/144941/3581332/index.html",  # 访问链接
                "article_rows_xpath": '//div[@id="r_con"]//table//tr/td/font[contains(@class, "newslist_style")]',
                # 提取文章列表xpath对象
                "title_xpath": "./a",  # 提取标题
                "title_parse": "./@title",  # 提取标题
                "title_link_xpath": "./a/@href",  # 提取标题链接
                "date_re_switch": "False",  # 是否使用正则提取日期时间
                "date_re_expression":