使用puppeteer库编写的爬虫程序

下面是一个使用puppeteer库编写的爬虫程序,用于爬取https://www.12306.cn/的内容。代码中使用了代理服务器www.duoip.cn的8000端口。
```typescript
import * as puppeteer from 'puppeteer';

async function startCrawler() {
  // 创建一个新的浏览器实例
  const browser = await puppeteer.launch({
    headless: false, // 控制浏览器是否显示在桌面上,这里设置为false,即显示在桌面上
    devtools: true, // 是否打开开发者工具,这里设置为true
    args: ['--proxy-server=http://www.duoip.cn:8000'], // 设置代理服务器
  });

  // 创建一个新的页面实例
  const page = await browser.newPage();

  // 访问目标网站
  await page.goto('https://www.12306.cn/');

  // 使用page方法获取网页内容
  const content = await page.content();

  // 关闭浏览器和页面实例
  await browser.close();
  await page.close();

  // 输出爬取到的内容
  console.log(content);
}

startCrawler();
```
以上代码首先创建了一个新的浏览器实例,并设置了代理服务器为www.duoip.cn的8000端口。然后创建了一个新的页面实例,并访问了目标网站https://www.12306.cn/。接着使用page方法获取了网页内容,并关闭了浏览器和页面实例。最后输出了爬取到的内容。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值