nodeJS 爬虫，通过Puppeteer实现滚动加载

最新推荐文章于 2024-07-05 11:06:13 发布
最新推荐文章于 2024-07-05 11:06:13 发布
阅读量7k 收藏 7
点赞数 2
文章标签： 爬虫 人工智能 php
原文链接：https://juejin.im/post/5ba1e99e6fb9a05d2b6db2eb
版权
本文介绍了作者使用Node.js和Puppeteer库编写爬虫的过程，从放弃PhantomJS转向Puppeteer的原因，到Puppeteer的安装注意事项，以及如何通过Puppeteer实现网页滚动加载，抓取新闻标题、图片和链接。最后，数据被存储到本地文件，项目源码在github.com上提供。
摘要由CSDN通过智能技术生成

最近在研究爬虫，所以用自己熟悉的node简单写了一个。

开始用的是phantomjs来获取HTML，但是看了文档之后发现很久没有维护了，所以就放弃了。

后来寻寻觅觅发现了 Puppeteer，看了下是Google开发的，所以果断上手试了试，感觉比phantom不知道高到哪里去了。

B话少说，直接贴项目地址。

github.com/Huoshendame…

项目简介

技术栈

node、puppeteer、cheerio（虽然puppeteer集成了Jq，但是既然已经装了就用一下吧）

安装注意事项

在运行npm install 在安装 puppeteer的时候会报错，因为node下载chrome（puppeteer依赖chrome浏览器）会报错。所以先忽略掉chrome

npm install puppeteer --ignore-scripts
复制代码

安装成功之后，在去运行




                

        

        




    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  weixin_34138377
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
Puppeteer之Pyppeteer-Pyppeteer鼠标和键盘操作用法(2)

				
			

			

				

					Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
				

				

					01-14
					
					1839
					
				

			

		

		

			
				
所以在浏览器中绝大多数操作都可以使用Pyppeteer来完成，比如页面功能测试，自动提交表单，请求响应拦截，导出页面PDF，测试浏览器扩展等。熟悉selenium的同学都知道，很多平台有自动检测机制，如果单纯的靠页面定位元素去操作网站，并不是一种明智的选择。用过selenium的同学都清楚，简单的去定位页面元素并进行点击输入操作，对于存在反爬的网站，大部分都能检测出来selenium的自动操作行为，而产生各种验证码。所以，自动化操作想要规避网站的自动化检测机制，加入鼠标的操作，是必不可少的。

			
		

	



                

              
                



	

		

			

				
					
Puppeteer实现上下滚动、打开新Tab、用户数据保存（三）

				
			

			

				

					suwu150
				

				

					10-14
					
					2382
					
				

			

		

		

			
				
常规测试中，我们经常会遇到点击a标签，打开新的tab页面，对于这种需求，Puppeteer也提供了处理方式，那就是通过浏览器监听targetcreated事件完成，等待该事件完成，再去响应接下来的操作。点击链接时，会打开一个新的页面，然后等待 newPagePromise 响应，最后我们就会拿到新页面的page对象，也就是对于新页面的操作，我们需要使用 newPage 来操作。在自动化测试中，我们需要能够上下滚动屏幕，以查看更多内容，但是Puppeteer并没有提供专门的方法，这里需要我们自己实现。

			
		

	



                


  
              

                


	

		

			

				
					
基于JavaScript、puppeteer的爬虫

					
最新发布

				
			

			

				

					m0_49083276的博客
				

				

					07-05
					
					536
					
				

			

		

		

			
				
第三步的脚本让我们把页面加载到拥有全部数据的状态，现在需要将第二步收集的类名里的文本封装成数组。

			
		

	





	

		

			

				
					
JS原生之----滚动条

				
			

			

				

					欣欣博客
				

				

					09-20
					
					1911
					
				

			

		

		

			
				
自定义滚动条，可滑可点可拖拽~~吼吼帅

			
		

	



		

			
		



	

		

			

				
					
JavaScript中要实现爬虫抓取动态滚动条加载的内容Puppeteer

				
			

			

				

					靖节先生的博客
				

				

					01-10
					
					931
					
				

			

		

		

			
				
在JavaScript中，要实现爬虫抓取动态滚动条加载的内容（即滚动到页面底部时自动加载更多内容的网页），通常需要模拟用户滚动行为，并等待页面内容动态加载完成。这段代码首先使用Puppeteer启动一个浏览器实例，然后打开指定URL的页面，并通过模拟滚动到底部以及检查特定的加载更多内容的标志来决定是否继续滚动。请注意，针对不同的网站，可能需要根据其具体的滚动加载机制和内容加载标识进行相应的调整。同时，确保遵守相关法律法规和网站的服务条款，不要滥用此类技术对不允许爬取的网站进行爬虫操作。

			
		

	





	

		

			

				
					
JS 获取滚动条位置

					
热门推荐

				
			

			

				

					又是再见?
				

				

					08-10
					
					1万+
					
				

			

		

		

			
				
执行代码，滚动鼠标滚轮：

			
		

	





	

		

			

				
					
nodejs使用Puppeteer简单实现爬虫

				
			

			

				

					洪小旺铺的博客
				

				

					12-04
					
					4545
					
				

			

		

		

			
				
nodejs使用Puppeteer简单实现爬虫
1、puppeteer介绍

描述：puppeteer是内置了chrome内核的一个nodejs的爬虫包，基于webdriver，可实现仿人操作界面，例如页面滚动、按钮点击、导航跳转等具体功能。
安装：

全局安装：npm -g install puppeteer
当前项目安装：npm -S install puppeteer


puppeteer-api  puppeteer的相关api操作，可参考文档

2、node简单实现

代码演示：

const 

			
		

	





	

		

			

				
					
puppeteer-usage:基于puppeteer的实践和应用

				
			

			

				

					05-07
				

			

		

		

			
				
因为 puppeteer，可以操作浏览器滚动加载等行为，同时可以监听请求，拿到 header 信息等。具体 可执行下列命令运行实例： git clone https://github.com/ijs/puppeteer-usage.git cd puppeteer-usage yarn install ...

			
		

	





	

		

			

				
					
node实现爬虫的几种简易方式

				
			

			

				

					10-16
				

			

		

		

			
				
通过引入Nightmare，可以方便地进行Web自动化测试或实现对动态网页的爬虫。Nightmare提供了类似于PhantomJS的API，使得编写爬虫更加方便，同时也支持设置超时和延迟加载等。  在文件内容中，提到了如何使用Nightmare...

			
		

	





	

		

			

				
					
结合项目来谈谈 Puppeteer

				
			

			

				

					zdplife的专栏
				

				

					08-01
					
					5281
					
				

			

		

		

			
				
Puppeteer 是 Chrome 开发团队在 2017 年发布的一个 Node.js 包，用来模拟 Chrome 浏览器的运行。我们团队从 Puppeteer 刚发布出来就开始成为忠实用户了（主要是因为 PhantomJs 坑太多了），本文主要在介绍 Puppeteer 的同时，结合我们平时的实践做一个分享。
学习 Puppeteer 之前我们先来了解一下 Chrome DevTool Pro...

			
		

	





	

		

			

				
					
使用puppeteer操作web页面

				
			

			

				

					08-15
				

			

		

		

			
				
利用puppeteer工具，可以在chrome上自动填写页面，同时也可以利用chrome的devtool测试mobile和iPad

			
		

	





	

		

			

				
					
puppeteer实现html截图的示例代码

				
			

			

				

					01-02
				

			

		

		

			
				
puppeteer是谷歌官方出品的一个通过 DevTools 协议控制 headless Chrome 的Node库。可以通过Puppeteer的提供的api直接控制Chrome模拟大部分用户操作来进行UI Test或者作为爬虫访问页面来收集数据。
安装

直接运行安装命令：

npm install puppeteer
如果出现无法安装的问题，可以使用淘宝镜像。
puppeteer实现滑动截图

在我 puppeteer 使用截全屏的过程中发现有些图片无法截取到，而实际上是因为有些图片是懒加载的，如果你没有滑动到图片的位置，那么这个图片是不会加载。
现在我的方式是采用模拟浏览器滚动条滑动的方

			
		

	





	

		

			

				
					
Puppeteer: 鼠标移动

				
			

			

				

					weixin_34198881的博客
				

				

					06-04
					
					2578
					
				

			

		

		

			
				
文档
mouse.click 是 mouse.move，mouse.down 和 mouse.up 的快捷方式
main.js
const pptr = require('puppeteer');
const gotoUrl = 'http://127.0.0.1:5500/index.html';

(async () => {
  const browser = await pptr.l...

			
		

	





	

		

			

				
					
js基础:实现页面打开后滚动到最底端的效果

				
			

			

				

					溺水的鱼 - Later equals never.
				

				

					01-07
					
					3797
					
				

			

		

		

			
				
 滚动页面的方法有scroll、scrollBy和scrollTo，三个方法都带两个参数：x(X轴上的偏移量)和y(Y轴上的偏移量)。因为是要滚动到页面底部，所以参数x为0，y为页面的滚动高度。另外，页面的滚动高度必须在网页加载完成后才能获取到，所以触发事件用onload。 　　具体步骤： 　　方法一：用scroll方法实现。   document.write(new Array(

			
		

	





	

		

			

				
					
puppeteer 鼠标定位滑块_puppeteer的使用

				
			

			

				

					weixin_34732336的博客
				

				

					01-28
					
					1367
					
				

			

		

		

			
				
目录：1、puppeteer配置安装 首先需要node环境；然后安装puppeteer(同时会安装Chromium)npm i puppeteer2、puppeteer元素基本操作-输入文本与元素点击//puppeteer元素基本操作-输入文本与元素点击const puppeteer = require('puppeteer')asyncfunctionfun() {const browse...

			
		

	





	

		

			

				
					
Puppeteer自动化测试鼠标键盘基本操作及注意事项

				
			

			

				

					Revivedsun的专栏
				

				

					08-28
					
					1万+
					
				

			

		

		

			
				
通过Puppeteer Api来控制Chrome进行数据抓取或自动化测试通常模拟鼠标或键盘的操作。接下来通过一些实例来介绍这些基本操作。如下的测试为了方便观察结果 
headless均设置为false，即有界面状态下测试。puppeteer版本为0.1.7,chrome版本为5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KH...

			
		

	





	

		

			

				
					
python滚动截图（利用Puppeteer实现）

				
			

			

				

					weixin_48262500的博客
				

				

					09-23
					
					1584
					
				

			

		

		

			
				
python滚动截图（利用Puppeteer实现）

			
		

	





	

		

			

				
					
nodejs puppeteer 爬虫 爬取滚动加载

				
			

			

				

					qq_43017024的博客
				

				

					07-16
					
					1567
					
				

			

		

		

			
				
爬取滚动加载页面数据
nodejs+puppeteer
之前有写一篇爬取普通网站的数据
地址链接
但是遇到有反爬策略的网站,查不到页面dom数据的来源接口怎么办呢?
此时我们可以用到 puppeteer
Puppeteer本质上是一个chrome浏览器，只不过可以通过代码进行各种操控。比如模拟鼠标点击、键盘输入等操作，有点像按键精灵，网页很难分清这是人类用户还是爬虫，所以限制也就无处谈起。通过一招简单的模拟用户操作就能破解绝大部分限制，它就是由谷歌出品的爬取动态网页神器Puppeteer。
比如优酷的,犹豫

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值