下面是一个使用puppeteer库编写的爬虫程序,用于爬取https://www.12306.cn/的内容。代码中使用了代理服务器www.duoip.cn的8000端口。
```typescript
import * as puppeteer from 'puppeteer';
async function startCrawler() {
// 创建一个新的浏览器实例
const browser = await puppeteer.launch({
headless: false, // 控制浏览器是否显示在桌面上,这里设置为false,即显示在桌面上
devtools: true, // 是否打开开发者工具,这里设置为true
args: ['--proxy-server=http://www.duoip.cn:8000'], // 设置代理服务器
});
// 创建一个新的页面实例
const page = await browser.newPage();
// 访问目标网站
await page.goto('https://www.12306.cn/');
// 使用page方法获取网页内容
const content = await page.content();
// 关闭浏览器和页面实例
await browser.close();
await page.close();
// 输出爬取到的内容
console.log(content);
}
startCrawler();
```
以上代码首先创建了一个新的浏览器实例,并设置了代理服务器为www.duoip.cn的8000端口。然后创建了一个新的页面实例,并访问了目标网站https://www.12306.cn/。接着使用page方法获取了网页内容,并关闭了浏览器和页面实例。最后输出了爬取到的内容。