scrapy链接mysql_Python+scrapy+mysql实现爬取磁力链接

Python+scrapy+mysql实现爬取磁力链接

作为老司机中的一员，所以试试爬取磁力链接，看看效果咋样。

直接上代码：

class torrentSpider(scrapy.Spider):

name = "torrent"

allowed_domains = [""]

start_urls = ['http:(网址不公布了)/so/abp-first-asc-1?f=h']

def parse(self, response):

#下面元组这里填一些简单的关键词信息，如什么前缀之类的

destination = ('')

通过css选择器选取对应的内容

post_nodes = response.css('.list a')

#从磁链列表解析每一个结果，然后通过parse_detail()解析名字和对应磁链

for post_node in post_nodes:

post_url = post_node.css('::attr(href)').extract_first('')

url = parse.urljoin(response.url, post_url)

yield Request(url=parse.urljoin(response.url, post_url),

callback=self.parse_detail)

for i in range(0,len(destination)):

#可以自己选择一个合适的页数

for num in rang