python scrapy 无法通过网页上复制的xpath查找到有效的元素的分析

前言

在之前的分析笔记中，我了解到简单的使用网页上复制的xpath并不一定可以获取到特定元素，在本文中则指的是使用JavaScript渲染的标签元素无法简单的通过scrapy获取，既然知道了问题所在，那么自然要着手问题的解决了。那么如何查找到使用JavaScript渲染的标签元素呢？

顺便贴上上一个分析笔记的链接：
https://blog.csdn.net/Ui_none/article/details/109143127

正文

解决方法有二：
第一种方法，由于scrapy无法“执行JavaScript提交函数”，所以必须使用Splash或者类似的支持JavaScript交互的替代方案。使用Splash渲染引擎提供渲染服务从而获得页面信息。
此处贴一个优秀教程的地址：

https://www.cnblogs.com/518894-lu/p/9067208.html

第二种方法，在触发JavaScript代码的时候查看向服务器发送的请求，自己构建类型的请求从而跳过JavaScript渲染的问题。但如何构建我个人还没有学习，如果有大佬这方面比较懂还望多多指教ww。

资料链接：

https://www.cnpython.com/qa/117684
https://www.cnblogs.com/518894-lu/p/9067208.html