学习篇-TypeScript-爬虫-项目创建

一、TypeScript-爬虫-项目创建

• 初始化项目，创建项目描述文件，package.json

  npm init -y 
  

  • 具体内容如下：

  {
    "name": "demo-2",
    "version": "1.0.0",
    "description": "",
    "main": "index.js",
    "scripts": {
      "test": "echo \"Error: no test specified\" && exit 1"
    },
    "keywords": [],
    "author": "",
    "license": "ISC"
  }
  

• 初始化ts配置文件，创建tsconfig.json文件

  tsc --init
  

• 在package.json中的script节点配置，运行脚本

    "scripts": {
      "dev": "ts-node ./src/crowller.ts"
    }
  

• 测试项目是否可以正常运行

  npm run dev
  

• 安装superagent插件，用于获取网页内容

  npm i superagent -S
  

  • 项目中引入superagent

    import superagent from "superagent";
    

    • 这边会报错，提示superagent缺少类型定义文件，因为superagent是用js写的，ts直接去引用的时候，ts不知道引入的类库里面的方法、参数是什么，所以需要一个类型定义文件【.d.ts】，通俗的讲就是js的翻译成ts的翻译文件。

      # 安装superagent的翻译文件
      npm i @types/superagent -D
      

• 安装cheerio，获取页面上各个区块的内容，进行网页数据的提取处理。

  npm i cheerio -S
  

  • 项目中引入cheerio，且安装类型定义文件

    # 引入
    import cheerio from 'cheerio';
    # 安装类型定义文件
    npm i @types/cheerio -D
    

• 文件操作，使用node的核心fs、path

  • 引入fs、path

    import fs from 'fs';
    import path from 'path';