web编程项目--新闻网站搭建

最新推荐文章于 2024-04-11 19:27:06 发布
最新推荐文章于 2024-04-11 19:27:06 发布
阅读量2.1k 收藏 16
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ningmengweiya/article/details/116278871
版权
本文介绍了如何使用爬虫爬取新浪、人民网、网易和央视新闻，涉及cheerio库和正则表达式解析链接。接着讲解了数据库设计、数据存储以及利用Express构建网站访问MySQL，实现新闻查询、分页和前端优化。最后进行了错误处理和项目总结。
摘要由CSDN通过智能技术生成

文章目录

一、新闻爬取

一共选了四个新闻网站进行爬虫，分别是人民网、新浪新闻、网易新闻、央视新闻，其中主要爬取的网站是人民网和新浪新闻（爬取多天数据、总数据量达1360条）并且将爬取结果存储在mysql中。

上demo

新闻网站demo｜时间热度分析

1.爬虫原理

  1. 首先我们搜索主页面，获取我们想要的子网页的URL
    通过request请求，cheerio解析，each遍历
  2. 搜索出我们子网页页面中我们需要的信息：标题，正文等
    通过request请求，cheerio解析
  3. 将我们需要的信息保存下来，通过各种形式访问到这种信息
    建立fetch(文件对象)，输入文件信息，fs /mysql模块写入

2.分析网站链接格式和网页信息格式

cheerio

在本次实验中，主要用到的功能如下：
1.解析HTML
首先需要手动加载html文档，使用的方式如下

   var cheerio = require('cheerio'),
   $ = cheerio.load('<ul id = "fruits">...</ul>');

2.选择器
cheerio选择器几乎和jQuery一模一样。它是文档遍历和操作的起点。
在本实验中，主要用到了以下几种选择器方法：
选取页面中所有的超链接。首先获取页面中所有标签，再遍历获取其href属性的值，具体的代码如下：

try {
   
        seedurl_news = $('a');
    } catch (e) {
    console.log('url列表所处的html块识别出错：' + e) };
    seedurl_news.each(function(){
   
        try {
   
            var href = "";
            href = $(this).attr('href'); //获取href属性
        }catch(e) {
   
            console.log('get the seed url err' + e);
        }
    }

按照指定class属性名称来进行选取

爬取新浪新闻

如下所示新浪新闻的链接格式

https://cul.news.sina.com.cn/topline/2021-04-13/doc-ikmyaawa9440823.shtml

https://cul.news.sina.com.cn/stickynews/2021-04-14/doc-ikmxzfmk6721643.shtml

https://cul.news.sina.com.cn/stickynews/2021-04-14/doc-ikmxzfmk6720347.shtml

可以看到基本的格式为/年-月-日/doc-8位字符7位数字.shtml

Javascript匹配规则如下

\d 匹配一个非负整数， 等价于 [0-9]

\s 匹配一个空白字符

\w 匹配一个英文字母或数字，等价于[0-9a-zA-Z]

. 匹配除换行符以外的任意字符，等价于[\n]

所以构造正则表达式为

var url_reg = /\/(\d{4})-(\d{2})-(\d{2})\/doc-(\w{8})(\d{7}).shtml/;

匹配时间规范化为年月日

var regExp = /((\d{4}|\d{2})(\-|\/|\.)\d{1,2}\3\d{1,2})|(\d{4}年\d{1,2}月\d{1,2}日)/

匹配规则为年份可以用四位数字或者两位数字来表示，中间的分隔符可以是- / .。\3是指引用前面的匹配,也即引用分隔符。也就是将如2021-04-1、2021/04/1、2021.04.1都转为2021年4月1日。
在这里插入图片描述

识别我们所要爬取的内容

由上图可以看到<meta name=“description” content="在这里，遇见更大更好的未来！“所以获取keywords的方式为var keywords_format = " $(‘meta[name=“keywords”]’).eq(0).attr(“content”)”;

var seedURL_format = "$('a')";
var keywords_format = " $('meta[name=\"keywords\"]').eq(0).attr(\"content\")";
var source_format = " $('meta[name=\"mediaid\"]').eq(0).attr(\"content\")";
var title_format = "$('meta[property=\"og:title\"]').eq(0).attr(\"content\")";
var date_format = "$('meta[property=\"article:published_time\"]').eq(0).attr(\"content\")";
var author_format = "$('meta[property=\"article:author\"]').eq(0).attr(\"content\")";
var desc_format = " $('meta[property=\"og:description\"]').eq(0).attr(\"content\")";
var content_format = "$('.article').text()";

在这里插入图片描述

如上图可以看到class为article所以获取正文的方式为var content_format = “$(’.article’).text()”;

爬取人民网新闻

网页链接格式如下

http://cpc.people.com.cn/n1/2021/0417/c164113-32080488.html

http://world.people.com.cn/n1/2021/0417/c1002-32080374.html

http://politics.people.com.cn/n1/2021/0417/c1001-32080356.html

可以看到格式为/年/月日/c至少4位数字-8位字符.html，所以构造正则表达式如下

var url_reg = /\/(\d{4})\/(\d{4})\/(\w{1})(\d{4,})-(\d{8}).html/;

在这里插入图片描述

识别我们所要爬取的内容

由上图可以看到<meta name=“author” content="105463"所以获取author的方式为var author_format = “$(‘meta[name=“author”]’).eq(0).attr(“content”)”;

var seedURL_format = "$('a')";
var keywords_format = " $('meta[name=\"keywords\"]').eq(0).attr(\"content\")";
var source_format = " $('meta[name=\"source\"]').eq(0).attr(\"content\")";
 
var title_format =  "$('title').text()";
var date_format = "$('meta[name=\"publishdate\"]').eq(0).attr(\"content\")";
var author_format = "$('meta[name=\"author\"]').eq(0).attr(\"content\")";
var desc_format = " $('meta[name=\"description\"]').eq(0).attr(\"content\")";
 
var content_format = "$('.rm_txt_con.cf').text()";

在这里插入图片描述

html中的class用空格分割，jquery用来匹配lclass就是要加.。所以这里匹配正文部分的代码为：

var content_format = "$('.rm_txt_con.cf').text()";

央视新闻爬取

网页链接格式如下

https://news.cctv.com/2021/04/23/ARTIcvjyoOUcK7qm83KjKgka210423.shtml?spm=C96370.PPDB2vhvSivD.EJHwg9t6FrM7.1

https://news.cctv.com/2021/04/18/ARTIC2yfewl0c1gNbHXWNicB210418.shtml?spm=C94212.P4YnMod9m2uD.ENPMkWvfnaiV.88

https://news.cctv.com/2021/04/18/ARTI513XcI88poP3HstaeZ2B210418.shtml?spm=C94212.P4YnMod9m2uD.ENPMkWvfnaiV.314

https://news.cctv.com/2021/04/14/ARTIkp2Di57750wzEbwuUYDf210414.shtml?spm=C94212.PZd4MuV7QTb5.Euuu2IJOvZIL.206

https://news.cctv.com/2021/04/17/ARTIpxJaxJMR9jWGctPnuIBe210417.shtml?spm=C96370.PPDB2vhvSivD.EZ4sRtXz56aB.6

可以看到格式为/年/月/日/30位字母和数组的组合.shtml，所以构造正则表达式如下

var url_reg = //(\d{4})/(\d{2})/(\d{2})/(\w{30}).shtml/

识别我们所要爬取的内容
在这里插入图片描述
在这里插入图片描述

var seedURL_format = "$('a')";
var keywords_format = " $('meta[name=\"keywords\"]').eq(0).attr(\"content\")";
var source_format = " $('meta[name=\"source\"]').eq(0).attr(\"content\")";
var title_format =  " $('meta[property=\"og:title\"]').eq(0).attr(\"content\")";
var date_format = "$('.info1').text()";
var author_format = " $('meta[name=\"author\"]').eq(0).attr(\"content\")";
var desc_format = " $('meta[property=\"og:description\"]').eq(0).attr(\"content\")";
var content_format = "$('.content_area').text()";

其中publish_date在之后需要进行特殊处理，取出｜之后的日期部分，处理代码如下

var arr=fetch.publish_date.split("|");
        var trimLeft = /^\s+/
        fetch.publish_date=arr[1].replace(trimLeft,"").replace("年","-").replace("月","-").replace("日","");

网易新闻

https://www.163.com/news/article/G8MVPOON000189FH.html

https://www.163.com/news/article/G8MPODL30001899O.html

由上述链接易知网易新闻的链接规律，书写正则表达式

var url_reg = /news\/article\/(\w{16}).html/;

同样可以通过谷歌显示网页源代码功能分析所要获取内容的javascript表达形式，代码如下：

var seedURL_format = "$('a')";
var keywords_format = " $('meta[name=\"keywords\"]').eq(0).attr(\"content\")";
var source_format = " $('meta[property=\"twitter:creator\"]').eq(0).attr(\"content\")";
var title_format = "$('meta[property=\"og:title\"]').eq(0).attr(\"content\")";
var date_format = "$('meta[property=\"article:published_time\"]').eq(0).attr(\"content\")";
var author_format = "$('meta[name=\"author\"]').eq(0).attr(\"content\")";
var desc_format = " $('meta[name=\"description\"]').eq(0).attr(\"content\")";
var content_format = "$('.post_body').text()";

3.数据库设计

使用mysql数据库建表语句如下

CREATE TABLE `fetches2` (
  `id_fetches` int(11)  NOT NULL AUTO_INCREMENT,
  `url` varchar(200) DEFAULT NULL,
  `source_name` varchar(200) DEFAULT NULL,
  `source_encoding` varchar(45) DEFAULT NULL,
  `title` varchar(400) DEFAULT NULL,
  `keywords` varchar(200) DEFAULT NULL,
  `author` varchar(200) DEFAULT NULL,
  `publish_date` date DEFAULT NULL,
  `crawltime` datetime DEFAULT NULL,
  `content` longtext,
  `createtime` datetime DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`id_fetches`),
  UNIQUE KEY `id_fetches_UNIQUE` (`id_fetches`),
  UNIQUE KEY `url_UNIQUE` (`url`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

新建一个mysql.js文件，在里面写上具体操作，然后在主爬虫程序中引入。

连接池创建

在代码中引入mysql模块，并编写数据库配置：

var mysql = require("mysql");
var pool = mysql.createPool({
   
    host: '127.0.0.1',
    user: 'root',
    password: 'root',
    database: 'crawl'
});

在本实验中，主要是对数据库进行查询和插入的操作，并无更新和删除操作。
这里的两个函数，用于操作有参数和无参数的情况。

有参数的情况：

var query
最低0.47元/天 解锁文章
ningmengweiya
关注
  • 1
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
web编程期末大作业：展示对爬虫爬取的数据
weixin_57398177的博客
06-30 356
对新浪娱乐首页的简易爬虫 文章目录 一、目标网站的选取和分析 二、爬虫整体代码思路和逻辑 三、使用工具包辅助完成储存和搜索 四、网站前后端设计和展示 前言 本文实现了爬取新浪娱乐首页娱乐新闻信息的爬虫，并储存在数据库中，可以在简易网站前端搜索访问 一、目标网站的选取和分析 我选取了新浪娱乐首页作为爬取的目标，主要因为代码整齐易懂 首先 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as pd
GNE: 4行代码实现新闻类网站通用爬虫
GitChat
01-03 939
GNE（GeneralNewsExtractor）是一个通用新闻网站正文抽取模块，输入一篇新闻网页的 HTML， 输出正文内容、标题、作者、发布时间、正文中的图片地址和正文所在的标签源代码。GNE在提取今日头条、网易新闻、游民星空、 观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻等数百个中文新闻网站上效果非常出色，几乎能够达到100%的准确率。...
新闻网页的源码
06-15
HTML中的div来制作的简单新闻网页，可用浏览器打开浏览，且提供可查看的源代码。
【web开发01】前端开发HTML、CSS-新浪新闻的实现
最新发布
xzrrr的博客
04-11 1421
前端开发HTML、CSS-新浪新闻的实现1 实现标题排版1.1图片连接的三种方式1.2 具体代码1.3 总结1.< h1>到< h6>是标题从大到小2 实现标题样式2.1 css的三种引入方式2.2 颜色的三种表示2.3 css选择器2.4 超链接3 实现正文排版3.1 视频标签 video3.2 音频标签 audio3.3 段落标签 p3.4 文本加粗标签 b strong3.5 css样式4 实现正文布局4.1 盒子模型4.2 布局标签4.2.1 div4.2.2 span5 表
web编程期中项目作业
CHENQIUKE的博客
04-21 832
Web编程期中项目
新闻网站源代码完整版
09-17
包含完整的新闻网站的功能，后台管理数据库，可现实图片新闻等
Flask搭建新闻网站①
王大阳的博客
05-05 1088
跟之前flask做的ihome租房网站类似，配置信息几乎完全一样，这里只记录下重点内容 git忽略log日志可在logs文件夹下加 .gitkeep文件 Day1 08_表结构分析 数据库迁移 显示网站logo文件 from flask import render_template, current_app from . import index_bp from info import re...
web新闻网站制作
Zluminous的博客
07-21 2047
web网页制作
Java Web 新闻网页制作源代码
10-10
Java Web 新闻网页制作源代码，自己做的网页
新闻网站系统
11-22
新闻网是一个功能完善的新闻类网站，由客户前台新闻浏览和后台新闻管理两大部分组成。  前台功能模块 前台主要包括新闻分类、新闻详细信息、新闻信息查询、新闻搜索、信息公告查询、信息导读查询及提供后台登录口等。  后台管理模块 后台主要包括后台总管理员设置及密码修改、添加管理员、管理员信息设置、新闻类型管理、信息公告管理、焦点导读管理及退出后台等。
新闻代码html
02-27
新闻代码东方头条网-东方网旗下《东方头条》是一款会自动学习的资讯软件,它会分析你的兴趣爱好,为你推荐喜欢的内容,并且越用越懂你.就要你好看,东方头条新闻网
基于ssm框架的简单新闻网站
08-04
简单的新闻呢网站，用ssm框架开发。用户可以浏览新闻，管理员可以发布新闻、删除新闻、更改新闻等功能。管理员账号：sqroot密码：dyr2015 博客：https://blog.csdn.net/xlantian/article/details/81395580
移动新闻网站,掌上移动新闻,移动新闻客户端,jQuery Mobile移动新闻网站,移动新闻网站demo,新闻阅读器开发
07-09
新闻示例 jqm新闻阅读器 移动网站建设 http://blog.csdn.net/xmtblog/article/details/28114999 实例见上面博客
新闻客户端demo
06-23
此项目是一个新闻类客户端demo。抓取了凤凰新闻，搜狐新闻和新浪新闻的接口，可直接请求最新新闻头条。里面有新闻列表展示和新闻详情页的展示，并且还加了图片和文字的缓存。用到了最主流的图片加载框架，网络请求框架等。
spring-web搭建项目
01-31
`spring-web`可以与其他Spring模块结合使用，比如`spring-webmvc`（Spring MVC）、`spring-webflux`（反应式Web编程）、`spring-security`（安全控制）等，构建更复杂的应用。 总之，`spring-web`是Spring框架的...
商业编程-源码-通过Web页面获取基站位置Web端源码.zip
06-23
【标题】"商业编程-源码-通过Web页面获取基站位置Web端源码.zip" 提供的是一款专门用于在Web应用程序中获取基站位置的技术实现。基站定位是移动通信技术中的一种定位方式，它利用手机与基站之间的信号交互来确定用户...
[Python]WEB编程--个人日记网站搭建（一）
热门推荐
Festinatione facit vastum
02-05 2万+
用Python+Tornado 编写一个个人日记网站（一） 讲道理，用惯了Flask感觉还是不熟悉Djongo，所以先来看一下Tornado（滑稽），记住这是一个最简单的最暴力的网页，毫无细节。 ‘Festinatione facit vastum’ 环境 Win10 （神奇的我给kali装了Nivdia驱动，崩了） Python 3.6 Pycharm
WEB编程实验报告---南昌大学.pdf
07-02
实验的目标是搭建Web编程环境，安装配置Java运行环境（JDK和JRE）、Web服务器（Tomcat）和数据库服务器（MySQL）。实验内容包括： 1. 安装JDK，配置环境变量，如设置`JAVA_HOME`、`classpath`和`class`。 2. 安装...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值