puppeteer 实例:抓取某标签下的所有文字内容

const puppeteer = require(‘puppeteer’);
(async ()=>{
try{
// 创建一个浏览器实例 Browser 对象
let browser = await puppeteer.launch({
// 是否不显示浏览器, 为true则不显示
‘headless’: false,
});
// 通过浏览器实例 Browser 对象创建页面 Page 对象
let page = await browser.newPage();
// 设置浏览器信息
const UA = “Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/63.0.3239.84 Chrome/63.0.3239.84 Safari/537.36”;
await Promise.all([
page.setUserAgent(UA),
// 允许运行js
page.setJavaScriptEnabled(true),
// 设置页面视口的大小
page.setViewport({width: 1100, height: 1080}),
]);
// 地址
let chapter_list_url = https://mp.weixin.qq.com/s?timestamp=1521424749&src=3&ver=1&signature=Y3Ba3ET0OZhIaKafKM*Nj0suibqTxakc8axInnsifWtdaZC8TlPtJOX-Zxf0CmshoiFtbNAjOJ2MiR8jsJmoQG8yazS55eoYStu9QmLThsBpgjL7x8oVJ6aacdvbFnShgBE6DPfxgxs07erUAHfau81zNB7YfiMm30EeMNjlVbQ=
// 打开章节列表
await page.goto(chapter_list_url);
// 使用css选择器的方式
let content= await page.$eval(‘#img-content’, el => el.innerText);
console.log(content);
}catch(err){
console.log(err)
}
})()

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值