前端设计与开发—— 新闻爬虫及查询网站建立（1）

前端设计与开发—— 新闻爬虫及查询网站建立（1）

环境准备

Nodejs安装

Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环境。 下载安装十分简单，下载安装包后即可。

在安装爬虫需要的Cheerio和Request包时，会出现安装Error：
npm ERR! A complete log of this run can be found in: npm ERR!

解决办法：
1 执行 npm install npm@latest -g升级到最新版本
2 删除本地node_modules 依赖包
3 执行 npm cache clean --force 清理缓存
4 npm install

MySQL安装

在安装MySQL的时候出现的最大的问题是官网下载太慢
十小时预警！！！

后面求助万能的百度后使用迅雷下载就搞定啦~

安装MySQL后按照教程进行了一系列配置~都很顺利O(∩_∩)O

运行老师提供的Crawler2.1.js后，爬取的数据被结构化存储在数据库中，输入select * from fetches limit 1，得到的结果如下图：

大功告成！ 接下来可以建立自己的爬虫和查询网站啦，冲鸭✌