scrapy之使用LinkExtractor提取链接

一、概述：

　　在页面含有少量链接时，使用selector来提取信息就可以，但如果链接特别多时，就需要用LinkExtractor来提取。

二、LinkExtractor构造器的各个参数：

　　1、allow  接收一个正则表达式或一个正则表达式列表，提取绝对url与正则表达式匹配的链接，如果改参数为空，就提取全部的链接。

　　2、deny　　与allow刚好相反，排除绝对URL与正则表达式相匹配的链接。

　　3、allow_domains　　接收一个域名或一个域名列表，提取到指定域的链接

　　4、deny_domains     与3相反。

　　5、restrict_xpaths　　接受一个xpath表达式或者一个xpath表达式列表，提取xpath表达式选中的区域下的链接。

　　6、restrict_css　　　　接收一个css选择器或者是一个css选择器列表，提取css选择器选中区域下的链接。

　　7、tags　　接收一个标签或者标签列表，提取指定标签内的链接。

　　8、attrs　　接收一个属性或一个属性类表，提取指定属性内的连接。

三、如何导出数据：

　　scrapy crawl spidername -t datatype -o filepath

 

转载于:https://www.cnblogs.com/monty12/p/10116807.html