使用 TypeScript 编写爬虫程序

本文介绍了一个使用TypeScript与Axios库编写的简单爬虫程序示例,展示了如何发起HTTP请求,设置User-Agent,使用代理,解析HTML并获取页面内容。示例仅为基础操作,实际爬虫可能涉及更复杂场景如分页、处理JavaScript和遵循robots.txt规则。
摘要由CSDN通过智能技术生成
在使用 TypeScript 编写爬虫程序时,我们需要使用第三方库来实现网络请求和解析 HTML。以下是一个简单的示例,展示了如何使用 TypeScript 和 Axios 库来爬取全国企业信用信息抓取的内容:
```typescript
import axios from 'axios';

const proxyHost = 'www.duoip.cn';http://www.jshk.com.cn/mb/reg.asp?kefu=wuyujia
const proxyPort = 8000;

async function fetchData() {
  const response = await axios.get('http://www.gsxt.gov.cn/Index/index.html', {
    headers: {
      'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    },
    proxy: {
      host: proxyHost,
      port: proxyPort,
    },
  });

  const html = response.data.toString();
  const parser = new DOMParser();
  const doc = parser.parseFromString(html, 'text/html');

  const companyNames = doc.querySelectorAll('.ncName');
  companyNames.forEach((companyName) =&g
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值