Lilriver-CSDN博客

原创 web期末作业

web期末项目文章目录web期末项目一、项目要求二、项目介绍1.组织结构2.模块依赖3.使用技术3.1 node.js3.2 express3.3 Angular.js4.项目运行三、mysql配置与数据库设计1. 安装mysql2. 数据库2.1 数据库设计2.2 数据库连接四、登陆、注册、限制查看、退出1.后端：2.前端：3.限制查看：非注册用户不可查看：4.退出：五、用户操作记录计入数据库六、查询列表支持排序与分页1.排序（1）search.html:（2

2021-06-24 15:04:55 2209

原创 Node.js网站爬虫（六）易错点合集和感想

文章目录易错点合集网络爬虫部分：crawler.2.1_xxx.js网站构建部分：search.html和index.js总结和感想易错点合集网络爬虫部分：crawler.2.1_xxx.jsCannot read property ‘0’ of null当exec()执行结果为空时，不存在下标[0]的值，因此需要分类讨论：Can not read property ‘replace’ of undefinedundefined类型无replace属性，确保eval(desc_f

2021-04-30 09:39:06 235

原创 Node.js网站爬虫（四）Express框架构建网站执行搜索功能

文章目录1 Express介绍：1.1 EXPRESS框架简介1.2 Express脚手架简介1.3 重要目录和文件：1.4 WEB应用架构：2 客户端：发送查询请求（search.html）2.1 功能：发送查询请求（GET）2.1.1 搜索包含关键词的信息（title或content）：2.1.2 时间热度分析（title或content）：2.2 页面展示2.2.1 搜索页面：2.2.2 返回页面：2.2.3 CSS 样式特点：3 服务端：响应查询请求（index.js）3.1 功能：通过sql语句提

2021-04-30 02:13:05 525

原创 Node.js网站爬虫（三）网络爬虫

文章目录1 对目标网站进行分析：1.1 分析网页html结构1.1.1 主页：1.1.2 新闻详情页：1.2 其他方式:2 爬取结构与工具包：2.1 爬取整体结构：2.2 工具包2.2.1 模块下载和导入模块：3.0.2 工具包（重要模块）：3 爬取流程：3.1 定义format:3.1.1 根据html结构使用CSS选择器：3.1.2 设置正则表达式3.2 配置异步执行和定时执行等：3.3 读取种子页面：3.4 读取新闻页面:3.4.1 转码并获取内容：3.4.2 动态执行format字符串，构建jso

2021-04-30 01:54:03 619

原创 Node.js网站爬虫（二）mysql配置与数据库设计

文章目录1 安装mysql2 数据库设计：创库、建表3 Node调用mysql1 安装mysql下载MySQL Community Server 8.0.19的免安装版网址：https://dev.mysql.com/downloads/mysql/因之前已安装过mysql，具体安装步骤省略。2 数据库设计：创库、建表进入mysql，创建一个数据库crawl,再创建一个表fetches，表的具体字段见下方create database crawl; use crawl; CRE

2021-04-30 01:39:58 169

原创 Node.js网站爬虫（一）项目简介与完成情况

文章目录1 项目要求2 完成情况2.1 实现功能2.2 实现流程1 项目要求•新闻爬虫及爬取结果的查询网站•核心需求：•1、选取3-5个代表性的新闻网站（比如新浪新闻、网易新闻等，或者某个垂直领域权威性的网站比如经济领域的雪球财经、东方财富等，或者体育领域的腾讯体育、虎扑体育等等）建立爬虫，针对不同网站的新闻页面进行分析，爬取出编码、标题、作者、时间、关键词、摘要、内容、来源等结构化信息，存储在数据库中。•2、建立网站提供对爬取内容的分项全文搜索，给出所查关键词的时间热度分析。•技术要求：•1

2021-04-30 01:30:50 234 1

weixin_42453922的博客