node.js使用puppeteer无头浏览器爬取豆瓣电影

最新推荐文章于 2024-08-30 08:51:22 发布
最新推荐文章于 2024-08-30 08:51:22 发布
阅读量3.2k 收藏 1
点赞数 1
分类专栏： Node.js学习笔录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SquirrelPineal/article/details/81260312
版权
本文介绍了如何使用Node.js和Puppeteer库无头浏览器爬取豆瓣电影数据。在安装Puppeteer过程中，由于需要下载Chromium，可能会遇到网络问题。为解决这个问题，可以跳过install.js执行或设置环境变量防止下载，或者手动下载Chromium并指定其路径。文章提供了具体的代码示例。
摘要由CSDN通过智能技术生成

静态网站 : 数据爬取–>储存：mongodb、mysql
数据服务 动态网站 –>获取 —模拟浏览器：phantomJS、NightMare、puppeteer(可以做自动化。模拟真实用户访问))),或者调用api同步接口

爬虫模块puppteer 官网 https://github.com/GoogleChrome/puppeteer
安装模块：npm i puppeteer -S

可能会爆出错误 ERROR: Failed to download Chromium r515411! Set "PUPPETEER_SKIP_CHROMIUM_DOWNLOAD" env variable to skip download.

是因为在执行安装的过程中需要执行install.js，这里会下载Chromium,官网建议是进行跳过，我们可以执行—ignore-scripts 忽略这个js执行。也可以通过设置环境变量set PUPPETEER_SKIP_CHROMIUM_DOWNLOAD=1阻止下载Chromium（因为封网，直接下载会失败）

安装puppeteer： npm i --save puppeteer --ignore-scripts

报错：因为没有·chromium·文件,需要翻墙，下载地址 ：https://download-chromium.appspot.com/

(node:7364) UnhandledPromiseRejectionWarning: Error: Chromium revision is not downloaded. Run "npm install" or <
最低0.47元/天 解锁文章
SquirrelPineal
关注
专栏目录
Node.js中基于谷歌无头浏览器工具puppteer实现网络爬虫，爬取拉勾网招聘数据
Goooo
05-28 1645
一、介绍 无头浏览器（Headless Browser），顾名思义是没有显示用户图形界面的浏览器，在其他方面与普通浏览器并无区别，只是将原来通过键盘鼠标触发的操作事件转为由代码执行。无头浏览器最初用于自动化测试中，但其特性十分适合爬虫实现，如今也是一种不错的爬虫实现方式。 无头浏览器的实现工具除了puppteer还有selenium和phantomjs，选择puppteer的主要原因是因为它由...
simple-headless-chrome：使用Node JS将Chrome用作无头浏览器的简单抽象
01-30
简单无头Chrome 该项目正在寻找维护者 如果您想在此项目中为他人提供帮助，我们将非常欢迎您！ 我使该项目投入工作，并且想将其提供给其他人使用，但是通常我没有时间去维护该项目。 因此，如果您对此感兴趣，并想提供帮助，请告诉我:) 回答一些疑问和问题将大有帮助。 谢谢！ 重要版本> = 3.3.0 3.3.0版包含一项新功能，该功能允许管理浏览器选项卡。 这项新功能带来了一些重大变化，这些变化将使我们将来可以扩展。 为了避免使用此模块的版本大于等于3.3.0的人员遇到问题，我们支持使用4.0.0版弃用的方法进行的重大更改。 介绍 这是一种以非常简单的方式使用Google Headless版本的抽象概念。 我受到以下项目的启发： Doffy（ ） 骑士（ ） chrome-remote-interface（ ） 灯塔（ ） 我也必须在这里阅读很多东西： 而且，由于 ，您也可以在heroku中使用它 我之所以构建此文件，是因为我对使用PhantomJS时遇到的一个极端情况感到厌倦（未处理的拒绝错误：无法加载url）。 因此，我决定进行自己的抽象，以便在hero
Revenant：Node.js中的无头浏览器利器
最新发布
gitblog_00981的博客
08-30 673
Revenant：Node.js中的无头浏览器利器 RevenantA high level PhantomJS headless browser in Node.js ideal for task automation项目地址:https://gitcode.com/gh_mirrors/rev/Revenant 在现代Web开发中，自动化测试和网页抓取是不可或缺的环节。然而，这些任务往往需要...
Headless.js 深度指南：无头浏览器自动化实战
gitblog_00570的博客
08-23 300
Headless.js 深度指南：无头浏览器自动化实战 headlessCreate a virtual X screen from Ruby, record videos and take screenshots.项目地址:https://gitcode.com/gh_mirrors/he/headless 项目介绍 Headless.js 是一个基于流行的无头浏览器技术（如 Puppete...
Nodejs puppeteer 无头浏览器导出pdf
阿门阿窗一颗葡萄树
10-21 1047
有需求，把若干个页面导出pdf并打包下载。 服务器环境CentOS 7.6.1810 分析需求后，决定用puppeteer进行chrome无头浏览器进行操作。 之前都没有接触过这个东西，在git上找到这个包，根据提示安装了puppeteer。 npm i puppeteer 然后复制了导出pdf的code const puppeteer = require('puppeteer'); (async () => { const browser = await puppeteer..
NodeJs 爬虫进阶：Puppeteer 谷歌开源的无头浏览器
GitChat
07-03 4405
关于 Node 爬虫的进阶部分，如何使用 Puppeteer 完全模拟人的操作，抓取网页信息，以及puppeteer出了爬虫还能能做哪些神奇的事情。脑洞大开的 Puppeteer 操作，以及如何在服务端部署 Puppeteer。 本场 Chat 主要内容： 本机 Puppeteer 如何安装，配置环境？ 如何使用 Puppeteer 模拟浏览器，实现登录，抓取数据等操作？ 如何使你的爬虫更像 “...
node.js快速入门_快速提示：Node.js中的无头Chrome入门
08-02 564
node.js快速入门 通常，在我们的工作范围中，我们需要能够重复复制用户旅程，以确保我们在更改网站时页面能够提供一致的体验。 能够始终如一地方便地完成此任务的关键是允许我们编写这些类型的测试脚本的库，以便我们可以针对它们运行断言并维护有关结果的文档。 输入无头浏览器：命令行工具，使您能够以编程方式编写用户跨站点交互的脚本，并捕获要在测试中使用的结果。 多年来，我们许多人一直在使用Phanto...
Node.js-使用Node.js和Puppeteer创建Web爬虫
08-10
**Node.js与Puppeteer简介** Node.js是一个开放源代码、跨平台的JavaScript运行环境，它允许开发者在服务器端执行JavaScript代码。Node.js基于Chrome V8引擎，因此它具有高性能和高效率。Puppeteer是Google Chrome...
Node.js-node.js爬取招聘信息
08-10
标题 "Node.js-node.js爬取招聘信息" 涉及到的主要知识点是使用Node.js进行网络爬虫开发，尤其是针对招聘网站的数据抓取。Node.js是一个基于Chrome V8引擎的JavaScript运行环境，因其非阻塞I/O和事件驱动的特性，...
通过Puppeteer绕过漫游器检测检查。-Node.js开发
05-27
通过Puppeteer绕过漫游器检测检查。 puppeteer-bypassing-bot-detection该存储库不完整，没有得到积极维护。 这主要是一项测试，以了解绕过Distil网络和其他公共无头检查所需的最低数量。 使用...
zombie, 疯狂快速的堆栈，使用 node.js的无头浏览器测试.zip
10-11
zombie, 疯狂快速的堆栈，使用 node.js的无头浏览器测试 Zombie.js快速，无头完整栈测试使用 Node.js Zombie Zombie Zombie Zombie tested tested node.js 4或者更高版本的工作。 如果需要使用节点 0.12或者更
crawlefier:适用于具有无头Chrome和黑名单的Node的多链接Web搜寻器。 基于AsyncAwait
05-15
Crawlefier 适用于具有无头Chrome和黑名单的Node的多链接Web搜寻器。 基于异步/等待。 特征 简单的CloudFlare绕过（仅适用于无头Chrome）。 通过黑名单过滤链接。 跟随第三方域。 限制为最大活动请求。 安装 npm install crawlefier 例子 默认抓取 Launch方法返回已爬网链接的数组。 import Crawlefier from 'crawlefier' ; const crawl = async urls => { const crawler = new Crawlefier ( ) ; const result = await crawler . launch ( urls ) ; // prints array of crawled links console . log ( re
简单记录ts-node无头浏览器
RemixGdc的博客
06-30 446
一、装node、ts-node 二、装浏览器和虚拟桌面 1，centos7 安装 google-chrome (1) 添加chrome的repo源 vi /etc/yum.repos.d/google.repo [google] name=Googlex86_64 baseurl=http://dl.google.com/linux/rpm/stable/x86_64 enabled=1 gpgcheck=0 gpgkey=https://dl-ssl.google.com/linux/l.
nodejs实现简历自动刷新(无头浏览器测试功能)
weixin_34194317的博客
10-20 359
nodejs实现简历自动刷新 完整程序GitHub上面可以找到 GitHub地址 想想当时面试每天都刷新简历，有时候还会忘记，晚上回家没事么事干，做了个简单的无头浏览器刷新简历功能 用到的技术 nodejs+nightmare 实现的程序 首先我们需要引用nightmare const Nightmare= require('nightm...
剑走偏锋，正经程序员都在用的无头浏览器到底有多神奇？
m0_63437643的博客
06-26 807
浏览器是再熟悉不过的东西了，几乎每个人用过，比如 Chrome、FireFox、Safari，尤其是我们程序员，可谓开发最强辅助，摸鱼最好的伴侣。浏览器能干的事儿，无头浏览器都能干，而且很多时候比标准浏览器还要更好 用，而且能实现一些很好玩儿的功能，我们能借助无头浏览器比肩标准浏览器强大的功能，而且又能灵活的用程序控制的特性，做出一些很有意思的产品功能来，稍后我们细说。什么是浏览器关于浏览器还有一个很好玩儿的梗，对于一些对计算机、对互联网不太了解的同学，你跟他说浏览器，他/她就默认是百度了，因为好多小白的浏
无头浏览器 html5定位,PhantomJS-无头浏览器的妙用
weixin_42301080的博客
06-10 436
原标题：PhantomJS-无头浏览器的妙用大家平时在做一些功能自动化、接口自动化测试的时候，肯定都遇到过这样的问题：需要先登录判断用户权限才能进行下一步动作。简单来说，你要验证一个获取用户个人信息的接口，那么你必须先进行登录操作获取登录态。通常一个不怎么聪明的做法是从浏览器中复制一份cookie，在接口测试请求request中附上cookie来获取登录态，但这样做的一个弊端是不能动态获取cook...
爬虫使用无头浏览器
weixin_30401605的博客
03-20 196
python + selenium + webdriver chrome ff opera等浏览器都有webdriver提供。 可惜还是依赖selenium。 以下以chrome为例。 1 centos7上安装chrome centos6.5不支持。已无法安装现在的chrome。 win10可以用。所以本地调试没有问题。 1. 配置yum源 在目录 /etc/yum.re...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值