html点击下一页表单,在scray/python中单击html表单按钮进入下一页

我在scrapy中编写了一个spider程序，从一个网站中提取数据。我有一个类似结构的html表的链接列表，到目前为止，这些链接的提取都很好。现在的问题是，这些表中的一些运行在多个页面上，也就是说，如果一个数据集超过30行，它就会被拆分。但大多数表格只有70页，最多只有一页。通过按html表单中的“下一页”按钮可以进入下一页。我希望蜘蛛去每个表，从第一页提取数据，然后继续到第二页、第三页等，直到没有“下一步”按钮，然后继续使用下一个原始URL。在

我知道我需要的可能是form_request命令，但我对这些东西并不熟悉，而且我在网上找到的所有示例的结构都略有不同，因此我们将非常感谢您的帮助。在

这是我的代码，它提取每个表的第一页。在from scrapy.spiders import BaseSpider

from scrapy.selector import HtmlXPathSelector

from example.items import exitem

from scrapy.http import FormRequest

class MySpider(BaseSpider):

name = "example"

with open('linklist.txt') as f:

start_urls = f.readlines()

def parse(self, response):

hxs = HtmlXPathSelector(response)

main = hxs.xpath("/html/body/table[2]/tr/td[2]/table/tr/td/table[1]/tr[