自动爬取SF文章并推荐到掘金--Puppeteer再探

最新推荐文章于 2024-07-19 21:30:00 发布
最新推荐文章于 2024-07-19 21:30:00 发布
阅读量1.8k 收藏 2
点赞数
分类专栏： nodejs 文章标签： 自动化测试 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhentaoo/article/details/78310700
版权
本文介绍了如何利用Puppeteer爬取SegmentFault的前30篇热门文章，并自动推荐到掘金平台。通过Puppeteer进行屏幕快照、高级爬虫、UI自动化测试和页面性能分析等操作，详细阐述了爬取和推荐的具体流程，包括登录、模拟用户操作等步骤。项目源代码已开源，可供进一步研究。
摘要由CSDN通过智能技术生成

原文链接：http://zhentaoo.com/2017/10/22/Pupputeer2
看过上篇的同学，应该都会使用Puppeteer的高级爬虫功能了，附上姐妹篇链接：
爬取并生成《ES6标准入门》PDF–Puppeteer初探
除了爬虫之外，也可以使用Puppeteer完成页面上任意操作，即: 可以用来做UI自动化测试
开门见山，今天的目标是，爬取SF的热门文章，自动推荐到掘金！！！

简要提下Puppeteer的应用场景

  1. 屏幕快照，打印PDF
  2. 高级爬虫（有别于传统爬虫.使用Puppeteer可以拿到渲染后的效果，传统爬虫相当于只能拿到http response）
  3. UI自动化测试（使用Puppeteer可以模拟用户操作）
  4. 页面性能分析

废话不多说，直接上动图/视频看效果

GIF图片比较大，如果不能加载成功，也可以到微博看下录制的视频

最低0.47元/天 解锁文章
青菜叶子z
关注
专栏目录
puppeteer-cluster:Puppeteer Pool，并行运行实例集群
05-11
木偶群集 创建一个操纵up的工人集群。 该库通过生成了Chromium实例池，并... npm install --save puppeteer-cluster 用法 以下是使用puppeteer-cluster的典型示例。 创建一个具有2个并发工作器的集群。 然后定义一个
puppeteer设置cookie获取网页内容
风烟
08-23 3638
使用puppeteer进行页面渲染的时候因为要登录才能获取到数据，我们不想走登录流程，想直接把cookie设置好，就需要设置cookies。 按照下面的方式进行设置 const cookies = { url: url, name: '', value: '' }; await page.setCookie(cookies); await page.goto(url); 第一个参数是URL，也就是要增加cookie的URL地址。后面两个就是这个URL下面要增加的
Puppeteer之定位和操作页面元素
qiaotl的博客
05-30 1万+
Puppeteer系列三之定位和操作页面元素
Pyppeteer爬虫教程：从入门到精通的全面指南
最新发布
有勇气的牛排博客
07-19 1000
Pyppeteer 是 Google 基于 Node.js 开发的工具，而 Pyppeteer 又是什么呢？它实际上是 Puppeteer 的 Python 版本实现。不过，Pyppeteer 并不是由 Google 开发的，而是一位日本工程师根据 Puppeteer 的功能开发出来的非官方版本。在 Pyppeteer 中，它实际上在后台使用了 Chromium 浏览器来执行网页渲染操作。
puppeteer 设置cookie
withme
11-30 7675
一、设置cookie 1、生命一个cookie的名字 和值，domain要对应扒的网站 可以查看控制台，如下就可以 ```javascript var cookie0 = { name: "xs", value: "23%3AAOPrLmUqvL3rFA%3A2%3A1605782200%3A9095%3A11149%3A%3AAcWO1dH7IDJR3LorxCP0--Z0q6W9LZDb0xsFXw3DO2U", domain: ".facebook.com",
puppeteer使用cookie登录网站
liberty888的博客
11-10 488
puppeteer使用cookie登录网站
爬虫初学：爬取小说网小说（详细讲解）
chengxuyuan19的博客
09-16 3198
项目展示 在讲解项目之前， 先给你们展示一下功能， 不然看了半天， 结果不是自己想要的那不是自闭了。 <----------------------------------分割线-------------------------------------> 点击打开原图 说实话，感觉我挺憨的才能写出这种代码，谁下载小说不是一整本一整本下， 结果也就我傻大憨的一章一章下，甚至还觉得自己好牛，害 代码思路讲解 项目要用到的模块 import os from time import sleep
facebook-messenger-puppeteer:通过Puppeteer的Messenger Chat API
04-28
通过Puppeteer的Facebook Messenger聊天API 例如，Facebook在检测和阻止使用（非官方）用户帐户聊天API的帐户方面已变得非常擅长 这些库被检测到的原因很可能是因为它们没有将所有各种轮询信息发送到Facebook。 ...
docker-puppeteer：Puppeteer的最小Docker映像
02-02
添加您自己的工具（例如Jest，Mocha等），链接要通过Docker Compose测试的服务，并使用无头Chromium运行您的Puppeteer脚本。 版本号 请参阅可用的Puppeteer版本的列表。 例 请参阅以获取完整的Docker Compose示例，...
axe-puppeteer:[不推荐]为Puppeteer提供可链接的ax API，并自动注入所有框架
05-09
为Puppeteer提供可链接的斧头API，并自动注入到所有帧中。入门如果尚未安装，请安装 有关运行斧头木偶测试的信息，请阅读有关更多信息。 安装Puppeteer： npm install puppeteer --no-save 安装axe-puppeteer及其...
node-express-puppeteer-pdf-example:使用Puppeteer进行PDF渲染的NodeJS Express Server示例
04-30
git clone https://github.com/christopher-talke/node-express-puppeteer-pdf-example.gitcd node-expess-puppeteer-pdf-examplenpm icode . 要在开发中运行该应用程序，只需运行以下命令： np
【Puppeteer】基于Puppeteer采集网页图片资源
shsugar的博客
11-22 2511
背景：负责的一个网页资源采集类的项目，之前是Java后台直接使用HTTP请求获取网页源码，再通过jsoup解析网页，跟据标签提取出图片。但是最近在一次客户的演练中，出现了图片漏抓的情况。具体分析网页一看，发现是写在css样式里的图片，以前的静态爬虫的方式确实覆盖不到。 现在想想，之前的静态爬虫方式还是太过简单了，已经无法胜任目前复杂的前端网页，可能存在以下问题： 1.网页源码是没有经过渲染的，会遗漏掉渲染新增的一些资源。比如需要根据ajax返回的结果才渲染展示的内容 2...
Puppeteer 使用教程-实战篇（爬取图片、视频、音频，页面数据）
~朴：shu的博客
07-19 3285
续上篇，我们简单讲述一下puppeteer常见的应用场景，包括静态页面数据获取，网络请求获取截取、图片、视频资源下载、自动化测试等，看了绝对有收获。
Puppeteer之处理弹框、实现文件上传下载以及操作iframe下页面元素
qiaotl的博客
05-30 4452
Puppeteer系列五之处理弹框、实现文件上传下载以及操作iframe下页面元素
Puppeteer在工作中是如何伪装自己的(爬虫与反爬虫)
weixin_46453301的博客
10-23 1143
为了更好保护我们的数据与程序安全. 今天就介绍一下,如何检测访问我们的web程序是否为无头浏览器, 以及他们的一些反检测的方法. Webdriver检测 一般来说,如果是无头浏览器模式下, navigator.webdriver 会返回 true. 检测方式 最简单的检测方式: if (navigator.webdriver) { // 针对无头浏览器的操作 } 使用defineProperty删除webdriver后如何检测 如果对方使用以下方式删除了webdriver属性,其实还是有办法检测的
Puppeteer 使用教程-基础篇（超详细、超全面）
~朴：shu的博客
07-17 1万+
Puppeteer 是一个 Node 库，它提供了一个高级 API 来通过 DevTools 协议控制 Chromium 或 Chrome。本文涉及了Puppeteer常见常用的API样例，包括爬取图片、视频、cookies设置，字符输入等多方面知识，很全面哦。
pyppeteer 模拟登录淘宝H5，获取cookie
qq_42004597的博客
05-22 5118
首先打开淘宝首页，右键点击检查，然后点击圈起来的地方切换手机版页面 然后刷新之后就会显示如下页面，点击 我的淘宝 就会显示用户登录页面 接下来要找到登录请求的url，如下所示，在故意输错账号密码的情况下，network中会有如下响应，这个就是我们要找的url 开始模拟登录 这里的page.evaluateOnNewDocument（）用来修改浏览器的属性值，淘宝...
Python爬虫之pyppeteer的使用（爬虫、获取cookie、截屏插件、防爬绕过）
热门推荐
墨痕诉清风的博客
07-13 1万+
下载文本中的网页源码，由于需要向下拉动滚动条所以使用pyppeteer渲染网页，并执行js代码，可是发现开启无界面的时候似乎执行不了js代码，还有异步的时候好像也执行不了js代码 import asyncio from pyppeteer import launch import re, os,time async def create_page(): browser = await launch(headless=True, dumpio=True) return browser
Puppeteer 爬虫框架使用
every place is the center of the universe
02-19 6968
Puppeteer pyppeteer官方文档 Puppeteer教程 Puppeteer 是 Google 基于 Node.js 开发的工具，调用 Chrome 的 API，通过 JavaScript 代码来操纵 Chrome 完成一些操作，用于网络爬虫、Web 程序自动测试等，其 API 极其完善，功能非常强大。 pyppeteer 介绍 Pyppeteer 是一款非常高效的 web 自动化测试工具，是 Puppeteer 的 Python 版本。 pyppeteer 使用了 Python 异步协程库
利用Puppeteer爬取简书用户文章并转换为PDF
本文主要介绍了如何利用 Node.js 和 Puppeteer 这个强大的自动化工具，在信息碎片化时代背景下，爬取简书上特定作者的所有文章并将其转化为 PDF 格式保存至本地。以下将详细介绍整个过程： 1. **目标场景**： 在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值