童安-CSDN博客

原创 Node.js爬虫实验项目二（二）后续

随后我们开始设置登录与注册页面，我们需要设定一些制度，比如没有注册的用户不可以登陆，不登陆不可以查看数据。并且在登陆和注册时也需要添加提示功能，类似于登录时的密码错误时提示，注册时两次密码不相同时提示等日常登录注册页面所需要的提示功能必须都具备。登陆页面部分还有登录页路由通过angular.js，可以实现登陆成功后进入news.html。登录成功后就进入主页面。注册页面部分注册页路由非注册用户和注册用户试图访问时也需要被区别，在登录页路由中，首先调用userDAO来保存session信息

2020-07-02 02:13:25 151

原创 Node.js爬虫实验项目二（一）要求与开端

基于第一个项目爬虫爬取的数据（3-5个数据源），完成数据展示网站实验要求：1、用户可注册登录网站，非注册用户不可登录查看数据2、用户注册、登录、查询等操作记入数据库中的日志3、实现查询词支持布尔表达式（比如“新冠 AND 肺炎”或者“新冠 OR 肺炎”）4、爬虫数据查询结果列表支持分页和排序5、用Echarts或者D3实现3个以上的数据分析图表展示在网站中...

2020-06-25 23:08:58 233

原创 Node.js爬虫实验项目（四）代码实现

（电脑出了一些问题暂时不能放图）构建网站搭建express手脚架来搭建网络构架。npm install -g express-generator 搭建项目，创建基本文件。express -e search_site进入项目，补齐依赖npm install mysql --savenpm install随后就可以把mysql.js文件拷贝和之前写好的代码放入文件夹里cmd运...

2020-05-07 02:12:37 251

原创 Node.js爬虫实验项目（三）基础代码与更新

实现代码1.分析种子页面。2.分析出种子页面里的所有新闻链接。3.爬取所有新闻链接的内容。4.分析新闻页面内容。5.将结构化数据保存到本地文件。1.引入必须的模块，定义要访问的网站var fs = require('fs');var myRequest = require('request')var myCheerio = require('cheerio')var myIco...

2020-05-05 17:10:41 221

原创 Node.js爬虫实验项目（二）数据库的建立与储存

建立Mysql 数据库的安装1.直接下载免安装版安装包，解压后放在c:/mysql里（需自己建立）。2.打开管理员命令行进行安装配置

2020-05-05 09:19:52 277

原创 Node.js爬虫实验项目（一）需求与基础

需求核心需求：选取新闻网站3-5个（新浪新闻、网易新闻、雪球经济、东方财富、腾讯体育、虎扑体育）针对不同网站的新闻页面进行分析，爬取出编码、标题、作者、时间、关键词、摘要、内容、来源等结构化信息,存储在数据库中建立网站提供对爬取内容的分项全文搜索，给出所查关键词的时间热度分析。技术要求：1.必须采用Node.JS实现网络爬虫。2.必须采用Node.JS实现查询网站后端，HTML+J...

2020-05-02 01:50:08 308

Emma的博客