第七部分（三） 动态渲染页面爬取（用Selenium获取淘宝商品，不涉及验证登录）...

最新推荐文章于 2019-10-22 18:15:34 发布
最新推荐文章于 2019-10-22 18:15:34 发布
阅读量143 收藏
点赞数
文章标签： python
原文链接：http://www.cnblogs.com/Micro0623/p/10646879.html
版权 


 
 
 
 
 

 

转载于:https://www.cnblogs.com/Micro0623/p/10646879.html

                

        

        




    

  


    

      

        

            

              
                
                  banlei1559
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
本次爬虫为大二第一学期python大作业.zip

				
			

			

				

					06-14
				

			

		

		

			
				
8. **网页渲染**：有些网站内容依赖JavaScript动态加载，此时需要使用如`Selenium`这样的库模拟浏览器行为。  9. **异常处理和日志记录**：在编写爬虫时，良好的异常处理和日志记录机制能够帮助定位和解决问题，提升...

			
		

	



                

              
                



	

		

			

				
					
利用selenium动态爬取淘宝的商品信息

				
			

			

				

					weixin_44195924的博客
				

				

					07-04
					
					488
					
				

			

		

		

			
				
先简单说一下，利用的是selenium模仿浏览器访问淘宝，使用xpath分离其中的数据，经过多次的修改之后，已经可以完成完整的中断再访问功能，
其中相对比较关键的遍历代码已经被我删除了，如果想要使用代码的话可以call我，现在可以实现的功能自动的登录、搜索,只是去除了中间的遍历功能，有一定爬虫代码功底的人结合注释应该都可以看懂.
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementExcepti

			
		

	



                


  
              

                


	

		

			

				
					
获取页面js动态写入的数据（抓取天猫商品价格）

				
			

			

				

					blueinsect314的专栏
				

				

					10-26
					
					4311
					
				

			

		

		

			
				
直接上代码：
先安装phantomjs，然后安装casperjs，注意要添加系统环境变量。
php代码：
for($i=0; $i
$limit = $i*$perpage;
$limit = "$limit,$perpage";
$goods = $db->GetRow('表','id,url,key_id,orig_id','orig_id 
if($goods){
forea

			
		

	





	

		

			

				
					
python爬虫教程.zip

				
			

			

				

					10-07
				

			

		

		

			
				
同时，自动化工具如Selenium（《5selenium概念.md》）可以帮助我们模拟真实浏览器行为，解决动态渲染的问题。  ### 5. 异步爬虫 当需要爬取大量数据时，同步爬虫的效率可能会变得低下。《8异步爬虫.md》中介绍了异步...

			
		

	



		

			
		



	

		

			

				
					
一个python爬虫基础知识、爬虫实例、反爬机制等资源.docx

				
			

			

				

					07-07
				

			

		

		

			
				
 - **动态页面渲染**：使用JavaScript动态生成页面内容，增加爬虫抓取难度。  2. **应对策略**  - **设置合理的User-Agent**：模拟浏览器的User-Agent字段，使请求看起来更像来自真实的浏览器。  - **使用代理IP**：...

			
		

	





	

		

			

				
					
基于python的爬虫教程.docx

				
			

			

				

					05-07
				

			

		

		

			
				
- **Scrapy-Splash**：结合Splash这个浏览器渲染服务，实现动态页面的爬取。 - **Selenium**：使用Selenium模拟真实的浏览器行为，支持复杂的页面交互。 - **PyQuery**：类似于jQuery的Python库，提供简洁的API用于...

			
		

	





	

		

			

				
					
python爬虫基础知识&源码.zip

				
			

			

				

					02-01
				

			

		

		

			
				
 - **动态网页处理**：如Selenium，模拟浏览器行为，处理JavaScript渲染的页面。  - **数据清洗与存储**：Pandas用于数据处理，MongoDB或MySQL用于数据存储。  7. **注意事项**  - 遵守《robots.txt》协议，尊重网站...

			
		

	





	

		

			

				
					
Selenium Firefox淘宝自动登录试验

				
			

			

				

					wherwh的专栏
				

				

					07-01
					
					8557
					
				

			

		

		

			
				
1.引言

本试验未达期望.作为经验备忘记录.
背景有2个层面的目标：
.利用用户名，密码信息登录
.除用户名，密码外，提供与人工打开浏览器操作相似的环境，如Profile,Cookies信息，实现登录
前者对环境依赖最小化.
另外期望以headless方式运行，避免GUI系统环境要求。
淘宝登录页面为：
https://login.taobao.com/member/login.jhtml?st...

			
		

	





	

		

			

				
					
关于使用selenium工具调用Firefox浏览器登录淘宝、京东web端的试验

				
			

			

				

					weixin_43918437的博客
				

				

					12-19
					
					6918
					
				

			

		

		

			
				
**
关于使用selenium工具调用Firefox浏览器登录淘宝、京东web端的试验
**
1、环境配置（软件安装相关知识大家可在网上查找）
以下是我使用的版本：
Firefox 24.0    selenium-2.53.2
2、测试脚本
此次使用的语句都是selenium中最基础的元素定位方式
(1)首先测试使用账号密码登录淘宝web端，相关代码如下:

在此处使用driver.find_e...

			
		

	





	

		

			

				
					
selenium五十行代码自动化爬取淘宝

				
			

			

				

					weixin_30559481的博客
				

				

					09-28
					
					230
					
				

			

		

		

			
				
先看一下代码，真的只是五十行：

 1 # coding=gbk
 2 
 3 from selenium import webdriver
 4 import time
 5 
 6 options = webdriver.ChromeOptions()
 7 options.add_argument(r'--user-data-dir=C:\Users\lwy\App...

			
		

	





	

		

			

				
					
selenium跳过webdriver检测并模拟登录淘宝

				
			

			

				

					weixin_34205076的博客
				

				

					03-13
					
					1828
					
				

			

		

		

			
				
@TOC
简介
模拟登录淘宝已经不是一件新鲜的事情了，过去我曾经使用get/post方式进行爬虫，同时也加入IP代理池进行跳过检验，但随着大型网站的升级，采取该策略比较难实现了。因为你使用get/post方式进行爬取数据，会提示需要登录，而登录又是一大难题，需要滑动验证码验证。当你想使用IP代理池进行跳过检验时，发现登录时需要手机短信验证码验证，由此可以知道旧的全自动爬取数据对于大型网站比较困难了...

			
		

	





	

		

			

				
					
Selenium用法笔记（解决动态渲染页面）

				
			

			

				

					STAR_LORD
				

				

					09-25
					
					6114
					
				

			

		

		

			
				
Selenium库，主要用来做自动化测试，爬虫中用来解决JavaScript渲染的问题
需要安装selenium库，以及浏览器的驱动（Chrome浏览器安装ChromeDriver）

所有的WebDriverAPI
一、基本使用
from selenium import webdriver
from selenium.webdriver.common.by import By
from sele...

			
		

	





	

		

			

				
					
突破淘宝对于selenium检测，直接驱动google浏览器，跳过验证码输入

				
			

			

				

					yeyiboy的博客
				

				

					08-28
					
					2097
					
				

			

		

		

			
				
去年11月之前淘宝对于selenium还是很友好的,后来selenium被检测了window.navigator.webdriver 等参数,出滑动验证码什么的,selenium已经很难用了,网上大片教程都使用的pyppeteer 修改检测js参数去采集, 我也用了一段时间, 但是发现chromium占用内存太高,并且pyppeteer参数方法介绍太少,用起来不舒服,本文介绍了另一种方法:使用...

			
		

	





	

		

			

				
					
淘宝后台添加颜色尺码动态sku

				
			

			

				

					miyayeeh的博客
				

				

					03-20
					
					727
					
				

			

		

		

			
				
废话不多说,直接上代码,用了vue,可直接copy运行


<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
    <script src="https://...

			
		

	





	

		

			

				
					
使用python   selenium爬取淘宝商品信息 自动登录淘宝和爬取某一宝贝的主图，属性图和详情图等等

					
热门推荐

				
			

			

				

					nick_chain的博客
				

				

					10-22
					
					1万+
					
				

			

		

		

			
				
selenium作为一个自动化测试工具非常好用，谁用谁知道啊。

先说如何登录淘宝，淘宝现在直接用会员名和密码登录会有滑块验证，找了网上说的几种方法和自己尝试了一番效果还是不太理想，实测过程中，即使滑块滑动成功了也无法登录，出现报错的情况。限于自身的技术水平无法解决。但是方法总比困难多，最后用了微博账号登录的。如果你使用了下文的登录方法。那快去注册一个微博账号或者绑定淘宝吧

登录：

首先确保安...

			
		

	





	

		

			

				
					
使用selenium爬取淘宝商品

					
最新发布

				
			

			

				

					08-10
				

			

		

		

			
				
使用Selenium进行淘宝商品爬取，通常涉及以下几个步骤：

1. **安装依赖**：
   首先需要安装Selenium库，这是一个浏览器自动化工具，可以模拟用户操作。另外，由于Selenium需要与特定的浏览器驱动（如ChromeDriver、FirefoxDriver等）配合使用，你也需要下载对应版本的浏览器驱动。

2. **启动浏览器**：
   导入`webdriver`模块，比如`from selenium import webdriver`，然后通过`webdriver.Chrome()`或`webdriver.Firefox()`创建一个新的浏览器实例。

3. **打开淘宝网站**：
   调用`browser.get('https://www.taobao.com')`打开淘宝主页。

4. **定位元素**：
   Selenium通过XPath、CSS选择器或ID等属性定位网页中的元素。例如，你可以找到搜索框并输入关键词：`search_box = browser.find_element_by_id('q')`。

5. **提交搜索**：
   利用`search_box.send_keys(keyword)`发送搜索请求。

6. **查找商品列表**：
   通过定位元素，找到商品列表区域，并遍历查找商品信息。

7. **解析数据**：
   一旦找到商品信息，利用如BeautifulSoup这样的HTML解析库，提取标题、价格、图片链接等数据。

8. **保存数据**：
   将抓取到的数据存储到CSV、JSON文件，或者数据库中。

```python
# 示例代码片段
from selenium import webdriver
from bs4 import BeautifulSoup

def crawl_taobao(keyword):
    # ...其他步骤...

    browser.find_element_by_id('su').click()  # 提交搜索
    page_source = browser.page_source
    soup = BeautifulSoup(page_source, 'html.parser')
    
    products = soup.select('.product-title')  # 假设商品标题类名为.product-title
    for product in products:
        title = product.text.strip()
        price = product.find('span', class_='price').text  # 类名假设为.price
        img_url = product.find('img')['src']
        
        # 存储数据
        save_data(title, price, img_url)

# 实际使用时记得处理异常和浏览器关闭
if __name__ == '__main__':
    keyword = input("请输入你要搜索的商品关键字:")
    try:
        crawl_taobao(keyword)
    finally:
        browser.quit()
```

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值