抓取“相关搜索”关键词
在puppeteer学习(二) 中介绍了自动访问百度网站的例子,在此基础上,下面的例子 抓取了相关搜索的关键词(百度下面有一个相关搜索的功能)。
代码如下:
// 演示自动访问百度网站并抓取相关搜索关键词
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch(
{executablePath: './chromium/chrome', headless: false});
const page = await browser.newPage();
await page.goto('https://www.baidu.com/');
await page.focus('#kw'); // 焦点到搜索关键字输入框
await page.type('Chrome Headless', {delay: 100}); // 输入关键字 Chrome Headless
await page.click('#su'); // 点击“百度一下”提交按钮
const waitForElement = page.waitForSelector('#rs > table > tbody > tr:nth-child(3) > th:nth-child(5) > a', {visible:true,timeout: 3000}); // 等待 3 秒或者页面显示完成 注释1
try {
// 此处是可能产生例外的语句
await waitForElement;
var kw = []; // 注释2
kw[0] = await page.$eval(