scrapy 中拼接url 的方式

  • 有时我们获取的url地址是不完整的,需要拼接一个完整的url。
  • 方法一: 使用+号拼接
url = “localhost” + response.css("#.pp a::attr(src)").extract_first(default=None)
  • 方法二 使用 join
url = "".join([host,response.xpath("//a[@class='pic']/img/@href").extract_first(default=None)])
  • 方法三 使用reponse.joinurl
url = response.urljoin(response.css(.pic a::attr(href)).extract_first())
  • 方法四 使用response.follow直接请求
yield response.follow(next_url,callback=self.parse)
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Scrapy框架,`start_urls`是Spider类的一个属性,用于定义爬虫开始爬取的初始URL列表。 `start_urls`是一个包含初始URL的列表,每个URL都是爬虫程序开始爬取的起始点。当启动爬虫时,Scrapy会自动从`start_urls`逐个发送请求,并将响应传递给指定的回调函数进行处理。 以下是`start_urls`属性的使用方法: 1. 在Spider类定义`start_urls`属性,并将起始URL以字符串形式添加到列表。例如: ```python class MySpider(scrapy.Spider): name = 'my_spider' start_urls = [ 'https://example.com/page1', 'https://example.com/page2', # ... ] ``` 2. Scrapy会自动将列表的每个URL发送请求,并将响应传递给默认的回调函数`parse()`进行处理。你也可以通过指定其他的回调函数来处理这些请求的响应。例如: ```python class MySpider(scrapy.Spider): name = 'my_spider' start_urls = [ 'https://example.com/page1', 'https://example.com/page2', # ... ] def parse(self, response): # 处理响应数据 pass ``` 3. 在回调函数,你可以编写代码来解析响应、提取数据、构建新的请求等操作。可以使用Scrapy提供的解析工具(如Selector、XPath或CSS选择器)来提取所需的数据。 需要注意的是,`start_urls`属性是一个列表,你可以根据需要添加多个起始URLScrapy会依次发送请求并处理响应,直到列表的所有URL都被爬取完毕。 另外,你也可以通过重写Spider类的`start_requests()`方法来自定义起始请求的生成方式,而不使用`start_urls`属性。 总结来说,`start_urls`是Scrapy框架Spider类的一个属性,用于定义爬虫开始爬取的初始URL列表。当启动爬虫时,Scrapy会自动从`start_urls`发送请求,并将响应传递给指定的回调函数进行处理。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值