Node.js网站爬虫（二）mysql配置与数据库设计

相关链接汇总：
Node.js网站爬虫（一）项目简介与完成情况
Node.js网站爬虫（二）mysql配置与数据库设计
Node.js网站爬虫（三）网络爬虫
Node.js网站爬虫（四）Express框架构建网站执行搜索功能
Node.js网站爬虫（五）扩展：热点词时间热度动态可视化展示
Node.js网站爬虫（六）易错点合集和感想

1 安装mysql

下载MySQL Community Server 8.0.19的免安装版

网址：https://dev.mysql.com/downloads/mysql/

因之前已安装过mysql，具体安装步骤省略。

2 数据库设计：创库、建表

​ 进入mysql，创建一个数据库crawl,再创建一个表fetches，表的具体字段见下方

create database crawl;  

use crawl;  

CREATE TABLE `fetches` (
  `id_fetches` int(11)  NOT NULL AUTO_INCREMENT,
  `url` varchar(200) DEFAULT NULL,
  `source_name` varchar(200) DEFAULT NULL,
  `source_encoding` varchar(45) DEFAULT NULL,
  `title` varchar(200) DEFAULT NULL,
  `keywords` varchar(200) DEFAULT NULL,
  `author` varchar(200) DEFAULT NULL,
  `publish_date` date DEFAULT NULL,
  `crawltime` datetime DEFAULT NULL,
  `content` longtext,
  `createtime` datetime DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`id_fetches`),
  UNIQUE KEY `id_fetches_UNIQUE` (`id_fetches`),
  UNIQUE KEY `url_UNIQUE` (`url`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

3 Node调用mysql

​ 安装命令：npm install mysql

​ 具体使用mysql存取数据的过程：见下一章网络爬虫部分。（导入mysql模块后的具体使用）