Python爬虫-Wayfair搜索词结果页

已于 2023-03-20 15:10:18 修改
阅读量898 收藏
点赞数
分类专栏： 爬虫实战进阶 文章标签： 爬虫 python requests 搜索词 Wayfair
于 2023-03-20 14:36:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Leexin_love_Ling/article/details/129662624
版权
爬虫实战进阶 专栏收录该内容
70 篇文章 260 订阅 ¥39.90 ¥99.00
订阅专栏
本文介绍如何使用Python爬虫获取Wayfair网站上的搜索词结果数据。通过URL分析，发现翻页规律，并进行代码测试，成功解析出目标数据。完整代码虽未展示，但数据解析逻辑清晰，适用于对Wayfair有类似需求的读者。
摘要由CSDN通过智能技术生成

前言

本文是该专栏的第39篇，后面会持续分享python爬虫干货知识，记得关注。

本文以Wayfair输入搜索词(关键词)，目标数据以搜索词结果页为例。

下面，跟着笔者直接往下看正文详细介绍。

正文

地址：aHR0cHM6Ly93d3cud2F5ZmFpci5jb20v

目标：搜索词的结果数据

1. url分析

以搜索词book为例

第1页：

第2页：

对比分析，基本可以确定url的翻页规律如下


                

        

        

        

    




        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        

    

      

        

            

              
                
                  写python的鑫哥
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
                
  • 
                  
                    打赏
                    
                  
                  
    打赏
    
                
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          

                

                        订阅专栏
                










                



	

		

			

				
					
对接wayfair API

				
			

			

				

					chenpei_pei的博客
				

				

					08-05
					
					2490
					
				

			

		

		

			
				
文档地址

https://developer.wayfair.com/docs/?php#

拉单有两个，一个https://developer.wayfair.com/docs/?php#dropship-order-query，另一个https://developer.wayfair.com/docs/?php#castlegate-order-query，根据自己业务选择

wayfair后面有完整的参数查看，文档的不太全，他的请求没有分页且只有开始时间，limit设置为0他就能返回全部，所以自己还

			
		

	



                

              
                



	

		

			

				
					
Wayfair扩展「Wayfair Extension」-crx插件

				
			

			

				

					03-22
				

			

		

		

			
				
有用的扩展可以显着简化wayfair订单处理。
Wayfair业务合作伙伴的扩展，可简化订单处理步骤。该扩展程序可以将处理时间从4小时减少到20分钟。特点：*易于过滤的UPS订单和LTL订单的装箱单*一键检查所有LTL订单的尺寸*易于重新排列采购清单的顺序以匹配销售清单用法：1.将每页显示更改为总计PO数量2.运行扩展以选择很棒的功能
支持语言:English (United States)

			
		

	



                


  
              

                


	

		

			

				
					
python爬虫实战：wayfair数据采集

				
			

			

				

					qq_45075118的博客
				

				

					04-21
					
					2475
					
				

			

		

		

			
				
python爬虫实战：wayfair数据采集项目分析项目解析源码展示
项目分析

确定获取数据（‘标题’, ‘来源’, ‘价格’）
明确采集的目标地址：wayfair
保存数据的格式csv
开发环境python3.7，Windows10
开发工具pycharm
所需工具包requests，csv，lxml


项目解析


数据抓包



xpath提取数据



xpath语法提取数据是有时会和网页源代码有出入
原因：

网页渲染数据和源代码不一致
数据是动态提交




只能获取12个数据


将网址直

			
		

	





	

		

			

				
					
wayfair-api

				
			

			

				

					03-15
				

			

		

		

			
				
wayfair-api

			
		

	



		

			
		



	

		

			

				
					
weiwei爬虫4.2--快速爬取网页

				
			

			

				

					petermsh的专栏
				

				

					10-13
					
					445
					
				

			

		

		

			
				
-- coding: utf-8 --”’ 
weiwei爬虫4.2
1、快速爬取网页（3种读取方法） 
2、信息写入文档（2种读取方法） 
3、获取文件信息 
4、获取网页状态 
5、获取url 
6、url编码、解码 
”’===========================================#网页读取方法1 
import urllib.request 
file=urllib.

			
		

	





	

		

			

				
					
WayFair Inter2019 笔试题———Castle

				
			

			

				

					BillieSu的博客
				

				

					10-15
					
					387
					
				

			

		

		

			
				
castle

题目要求：
1、找到所有的山顶和山底
2、数列的开头和结尾没有上升下降的序列，可以当作山顶或者是山底
解决思路1:
有问题！！
无法解决数字出现重复三次的情况

public class Castle {
    public static void main(String[] args){
        int[] A={2,2,3,4,3,3,2,2,2,2,1,1,1,2,...

			
		

	





	

		

			

				
					
Wayfair EDI项目案例

					
最新发布

				
			

			

				

					EDI电子数据交换 | 知行软件
				

				

					07-04
					
					783
					
				

			

		

		

			
				
Wayfair是一家成立于2002年的美国电子商务公司，专注于家居用品的销售。其总部位于马萨诸塞州波士顿。Wayfair提供广泛的产品种类，包括家具、装饰品、家居用品和室外用品等。通过其网站和移动应用程序，顾客可以方便地浏览和购买所需的家居产品。Wayfair以其庞大的商品目录、便捷的购物体验和多样的选择而闻名。

			
		

	





	

		

			

				
					
Wayfair EDI 850订单详解

				
			

			

				

					EDI电子数据交换 | 知行软件
				

				

					09-02
					
					520
					
				

			

		

		

			
				
Wayfair 是美国最大的家居电商购物平台，被《福布斯》杂志评为“美国最有前途的公司”之一。Wayfair 是2002年8月由 Niraj Shah 和 Steve Conine 共同创立的，当初只是一家叫 CSN 的小店。CSN 运营着一个网址为 racksandstands.com 的网站，专门卖一些储藏和家庭娱乐的家具。后来 CSN 逐步建立了多个网站来卖其他的家庭用品和家具。

			
		

	





	

		

			

				
					
Wayfair广告白皮书

				
			

			

				

					06-01
				

			

		

		

			
				
SEO策略可以帮助Wayfair在搜索引擎结果中获得更高的排名，吸引更多的潜在客户。社交媒体则为品牌提供了与消费者互动的平台，通过分享有价值的内容和举办互动活动，建立品牌忠诚度。电子邮件营销则是一种直接触达用户...

			
		

	





	

		

			

				
					
Wayfair Extension-crx插件

				
			

			

				

					04-03
				

			

		

		

			
				
 Wayfair的业务合作伙伴的扩展，以简化订单处理步骤。 延伸可以大量地将过程时间从4小时到20分钟。 特征： *用于UPS订单和LTL订单的易于过滤器打包单 *一个单击所有LTL订单的检查维度 *易于重新排列购买列表的顺序以...

			
		

	





	

		

			

				
					
ERP系统信息化资料:SG_开发功能说明书_SD-093 WAYFAIR-INVOICE_SD_V1.0(1).doc

				
			

			

				

					09-29
				

			

		

		

			
				
ERP系统信息化资料:SG_开发功能说明书_SD-093 WAYFAIR-INVOICE_SD_V1.0(1).doc

			
		

	





	

		

			

				
					
python爬虫|爬取亚马逊商品库存数据(Selenium实战)

				
			

			

				

					Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
				

				

					11-23
					
					5966
					
				

			

		

		

			
				
前言


很多人把selenium爬虫称之为可视化爬虫，之所以这样认为，主要在于selenium爬虫主要是模拟人的点击操作，而selenium驱动浏览器并进行操作的过程是可以观察到的。换言之，就是你在看着别人在帮你操纵你的电脑，类似于别人远程使用你的电脑，需要提到的是，selenium也有无界面模式。

下面，直接进入正文，以亚马逊商品数据为例，获取商品的当前库存数据。


正文


想要获取亚马逊的库存数据，那就需要先明白，亚马逊商品的库存数据是怎么获得的。

1.打开商品界面之后，需要先点击加入购物车.

			
		

	





	

		

			

				
					
Selenium打开页面，出现弹窗需要登录账号密码，怎么解决？

				
			

			

				

					Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
				

				

					08-27
					
					5950
					
				

			

		

		

			
				
有时候，遇到需要登录账号密码的情况，无疑会想到用selenium。用selenium打开普通页面，其实都非常简单，但是你有没有遇到过这样的情况呢？

			
		

	





	

		

			

				
					
Python如何解决“快手滑块验证码”(4)

				
			

			

				

					Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
				

				

					01-18
					
					5164
					
				

			

		

		

			
				
很多时候，我们打开一个页面还没开始进行浏览，就跳出一个滑块验证的图片，需要拖到滑块至缺口处，才可以正常浏览。这对于我们正常人浏览页面来说，几乎没什么难度，但是当我们需要用到脚本去实现的时候，比如自动化操作或者爬虫，那就明显提升了一点难度。可能有同学会注意到，运行上述代码之后，就可以查看每一个视频，后面有时间会单独再分享如何拿到这些视频数据，感兴趣的同学，可以提前关注一下。获取这两张图片，可以通过selenium的xpath方法，把图片的src获取到即可，然后下载保存到本地。

			
		

	





	

		

			

				
					
如何用selenium或pyppeteer来链接并打开指纹浏览器AdsPower

				
			

			

				

					Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
				

				

					11-18
					
					4537
					
				

			

		

		

			
				
本文是该专栏的第25篇，后面会持续分享python的爬虫干货知识，记得关注。一般来说，选择使用自动化工具来做爬虫算是一种退而求其次的方法，但是要注意的是，面对那种需要模拟登录进行操作，或者是需要模拟登录拿到cookie再交给协议请求来说，自动化的方法那就是爬虫攻城狮的首选了。做过自动化的朋友都熟悉，selenium自身没有浏览器的驱动，它需要浏览器的驱动支持，即WebDriver，而selenium想要打开某个浏览器，需要下载对应浏览器的驱动就可以，比如

			
		

	





	

		

			

				
					
Python如何解决“滑块验证码”登录识别(3)

				
			

			

				

					Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
				

				

					11-15
					
					4145
					
				

			

		

		

			
				
总的来说，破解滑块验证码这块并不算太难太难，废话不多说，下面跟着我往下探索，如何解决在工作上遇到的滑块验证码问题。做爬虫项目的时候，总是会遇到我们的冤家老朋友——验证码(图文验证码，点选验证码，滑块验证码)等。破解验证码这块，也需要一个从易到难的过程

			
		

	





	

		

			

				
					
Python如何正确解决爬虫过程中的Cookie失效问题？

				
			

			

				

					Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
				

				

					07-26
					
					3834
					
				

			

		

		

			
				
本文是该专栏的第54篇，后面会持续分享python爬虫干货知识，记得关注。在python爬虫项目中，Cookie是一种用于在客户端和服务器之间传递信息的技术。在爬取某些网站的时候，可能会需要登录才能正常获取到数据，这个时候就需要用到cookie来解决。通常情况下，需要将cookie添加到请求头中，才能发挥cookie的作用。但是，并不是所有的cookie都能持久使用，某些网站的cookie有时效性，甚至有效使用时长非常短暂。达到一定时间后，cookie就会失效，失效后的cookie是不能再使用的，只能更换新

			
		

	





	

		

			

				
					
python 用爬虫爬取的大量数据怎么保存到本地

				
			

			

				

					Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
				

				

					09-17
					
					3671
					
				

			

		

		

			
				
前言
用爬虫爬取的大量数据怎么保存到本地，本文以保存到Excel为例。
1.先导入爬虫所需的库
说明一下，引入xlsxwriter这个库，主要是为了将数据写入Excel；我这里用到的是xpath，当然了你也可以选择bs4或者正则。
2.选取你要爬取的url地址，将地址赋值给一个变量url，别忘了添加一个请求头信息’User-Agent’。
3.对想要爬取的页面进行解析
4.接着利用xpath方法，提起页面源代码里面想要的信息
需要注意的是，这里在python3中用print方法输出的内容是一个隐藏的对象，后

			
		

	





	

		

			

				
					
wayfair是否有反爬虫机制

				
			

			

				

					09-01
				

			

		

		

			
				
Wayfair是一家在线家具和家居用品零售商，作为一个大规模的电子商务平台，Wayfair确实采取了一些反爬虫机制来保护其网站免受恶意爬虫的攻击。

首先，Wayfair通过IP封锁的方式来限制对其网站的多次访问。如果检测到某个IP地址在短时间内频繁访问网站，Wayfair可能会将该IP地址列入黑名单，并禁止其进一步访问。

其次，Wayfair还可能使用验证码来验证用户是否为真实的人类用户。当网站检测到一些不寻常的活动，如快速提交表单或连续点击页面，它可能会要求用户进行验证码验证，以确保其为真实用户。

此外，Wayfair可能还使用一些技术手段来检测和阻止自动化爬虫程序。这些技术手段可能包括检测HTTP请求头中的特定参数、分析用户行为模式和访问频率等。

最后，Wayfair也可能与第三方反爬虫服务提供商合作，利用其专业的技术来识别和封锁爬虫。

总之，Wayfair采取了一系列的反爬虫措施来保护其网站免受恶意爬虫的干扰和攻击。这些措施旨在确保平台的正常运行和用户体验，并保护其商业利益。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
写python的鑫哥

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值