web编程期中大作业

最新推荐文章于 2021-06-26 20:09:28 发布
最新推荐文章于 2021-06-26 20:09:28 发布
阅读量197 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Xueqc/article/details/116233571
版权
本文详细介绍了爬虫的实现步骤，包括目标网站分析、爬虫结构设计、数据库存储及前端搜索展示。以网易新闻为例，展示了如何编写爬虫代码，提取新闻标题、内容等信息，并存储到数据库。同时，实现了对数据库内容的搜索功能，展示搜索结果。文章还强调了防止网站屏蔽爬虫的策略和时间热度分析。
摘要由CSDN通过智能技术生成

文章目录

作业要求

满分100分，作为平时成绩，占最终总评成绩的40%。

一、爬虫部分 30分
1、完成最少一个目标网站（网站主题不限，不允许直接使用示例中的中国新闻网）的分析和爬虫设计。
2、爬取不少于100条数据（每条数据包括最少3个字段，标题、内容和时间），并存储在数据库中。
3、需提交源代码，完成多个网站的爬虫酌情加分。

二、搜索网站部分 30分
1、完成对数据库中爬取数据内容或标题的搜索功能，搜索结果以表格形式展示在前端页面中。
2、完成对搜索内容的时间热度分析，比如搜索“新冠”，可以展示爬取数据内容中每一天包含“新冠”的条数，具体展示形式不限，可以用文字或表格展示，也可以用图表展示。
3、需提交源代码，网站页面设计简洁美观酌情加分。

三、报告 40分
1、详细描述对目标网站的分析过程。
2、详细描述爬虫整体结构，使用的工具包，以及数据库设计。
3、详细描述搜索网站前后端的设计。
4、图文展示实现的效果。

前期准备

先下载好node.js和vscode并安装一些所需的插件。

对示例代码crawler2.js进行具体分析，弄明白爬虫的原理。

示例分析，了解爬虫的具体结构和对数据库的设计

1.用require函数来加载模块

var fs = require('fs');
var myRequest = require('request');
var myCheerio = require('cheerio');
var myIconv = require('iconv-lite');
require('date-utils');
var mysql = require('./mysql.js');

2.定义所要爬取网站的域名

var source_name = "中国新闻网";
var domain = 'http://www.chinanews.com/';
var myEncoding = "utf-8";
var seedURL = 'http://www.chinanews.com/';

确定目标网站为中国新闻网

3.定义各新闻元素的读取方式

var seedURL_format = "$('a')";
var keywords_format = " $('meta[name=\"keywords\"]').eq(0).attr(\"content\")";
var title_format = "$('title').text()";
var date_format = "$('#pubtime_baidu').text()";
var author_format = "$('#editor_baidu').text()";
var content_format = "$('.left_zw').text()";
var desc_format = " $('meta[name=\"description\"]').eq(0).attr(\"content\")";
var source_format = "$('#source_baidu').text()";
var url_reg = /\/(\d{4})\/(\d{2})-(\d{2})\/(\d{7}).shtml/;
var regExp = /((\d{4}|\d{2})(\-|\/|\.)\d{1,2}\3\d{1,2})|(\d{4}年\d{1,2}月\d{1,2}日)/

其中最后两行代码为正则表达式，它描述了一种字符串匹配的模式，可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。

4.防止网站屏蔽爬虫

var headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}

5.通过遍历的方式读取新闻页面并进行检验

//request模块异步fetch url
function request(url, callback) {
    var options = {
        url: url,
        encoding: null,
        //proxy: 'http://x.x.x.x:8080',
        headers: headers,
        timeout: 10000 //
    }
    myRequest(options, callback)
};

seedget();

function seedget() {
    request(seedURL, function(err, res, body) { //读取种子页面
        // try {
        //用iconv转换编码
        var html = myIconv.decode(body, myEncoding);
        //console.log(html);
        //准备用cheerio解析html
        var $ = myCheerio.load(html, { decodeEntities: true });
        // } catch (e) { console.log('读种子页面并转码出错：' + e) };
        var seedurl_news;
        try {
            seedurl_news = eval(seedURL_format);
        } catch (e) { console.log('url列表所处的html块识别出错：' + e) };
        seedurl_news.each(function(i, e) { //遍历种子页面里所有的a链接
            var myURL = "";
            try {
                //得到具体新闻url
                var href = "";
                href = $(e).attr("href");
                if (href == undefined) return;
                if (href.toLowerCase().indexOf('http://') >= 0) myURL = href; //http://开头的
                else if (href.startsWith('//')) myURL = 'http:' + href; 开头的
                else myURL = seedURL.substr(0, seedURL.lastIndexOf('/') + 1) + href; //其他

            } catch (e) { console.log('识别种子页面中的新闻链接出错：' + e) }

            if (!url_reg.test(myURL)) return; //检验是否符合新闻url的正则表达式
            //console.log(myURL);

            var fetch_url_Sql = 'select url from fetches where url=?';
            var fetch_url_Sql_Params = [myURL];
            mysql.query(fetch_url_Sql, fetch_url_Sql_Params, function(qerr, vals, fields) {
                if (vals.length > 0) {
                    console.log('URL duplicate!')
                } else newsGet(myURL); //读取新闻页面
            });
        });
    });
};

function newsGet(myURL) { //读取新闻页面
    request(myURL, function(err, res, body) { //读取新闻页面
        //try {
        var html_news = myIconv.decode(body, myEncoding); //用iconv转换编码
        //console.log(html_news);
        //准备用cheerio解析html_news
        var $ = myCheerio.load(html_news, { decodeEntities: true });
        myhtml = html_news;
        //} catch (e) {    console.log('读新闻页面并转码出错：' + e);};
}

6.构建对象并以规定格式写入数据库

console.log("转码读取成功:" + myURL);
        //动态执行format字符串，构建json对象准备写入文件或数据库
        var fetch = {};
        fetch.title = "";
        fetch.content = "";
        fetch.publish_date = (new Date()).toFormat("YYYY-MM-DD");
        fetch.url = myURL;
        fetch.source_name = source_name;
        fetch.source_encoding = myEncoding; //编码
        fetch.crawltime = new Date();

        if (keywords_format == "") fetch.keywords = source_name; // eval(keywords_format);  //
        else fetch.keywords = eval(keywords_format);

        if (title_format == "") fetch.title = ""
        else fetch.title = eval(title_format); //标题

        if (date_format != "") fetch.publish_date = eval(date_format); //刊登日期   
        console.log('date: ' + fetch.publish_date);
        fetch.publish_date = regExp.exec(fetch.publish_date)[0];
        fetch.publish_date = fetch.publish_date.replace('年', '-')
        fetch.publish_date = fetch.publish_date.replace('月', '-')
        fetch.publish_date = fetch.publish_date.replace('日', '')
        fetch.publish_date = new Date(fetch.publish_date).toFormat("YYYY-MM-DD");

        if (author_format == "") fetch.author = source_name; //eval(author_format);  //作者
        else fetch.author = eval(author_format);

        if (content_format == "") fetch.content = "";
        else fetch.content = eval(content_format).replace("\r\n" + fetch.author, ""); //内容
        if (source_format == "") fetch.source = fetch.source_name;
        else fetch.source = eval(source_format).replace("\r\n", ""); //来源
        if (desc_format == "") fetch.desc = fetch.title;
        else fetch.desc = eval(desc_format).replace("\r\n", ""); //摘要   
        var fetchAddSql = 'INSERT INTO fetches(url,source_name,source_encoding,title,' +
            'keywords,author,publish_date,crawltime,content) VALUES(?,?,?,?,?,?,?,?,?)';
        var fetchAddSql_Params = [fetch.url, fetch.source_name, fetch.source_encoding,
            fetch.title, fetch.keywords, fetch.author, fetch.publish_date,
            fetch.crawltime.toFormat("YYYY-MM-DD HH24:MI:SS"), fetch.content
        ];

        mysql.query(fetchAddSql, fetchAddSql_Params, function(qerr, vals, fields) {
            if (qerr) {
                console.log(qerr);
            }
        }); 
    });
}

可以看出，代码对写入数据库的时间变量的格式有所规定，以"-"的形式来取代网页中可能存在的”年“”月“”日“，使代码整体更具有规范性和可读性。

实际操作

1.先分析目标网站，以网易新闻为例

先按F12查看网页源代码，确定网页的标题、来源、keywords等class属性，再利用jQuery选择器，对class和id等分别进行选择。

2.根据示例分析，写出自己的爬虫代码

var fs = require('fs');
var myRequest = require('request');
var myCheerio = require('cheerio');
var myIconv = require('iconv-lite');
require('date-utils');
var mysql = require('./mysql.js');

var source_name = "网易新闻";
var domain = 'https://news.163.com/';
var myEncoding = "utf-8";
var seedURL = 'https://news.163.com/';

var seedURL_format = "$('a')";
var keywords_format = " $('meta[name=\"keywords\"]').eq(0).attr(\"content\")";
var title_format = "$('title').text()";
var date_format = "$('.post_info').text()";
var content_format = "$('.left_zw').text()";
var desc_format = " $('meta[name=\"description\"]').eq(0).attr(\"content\")";
var source_format = "$('.post_info').text()";
var url_reg = /article/;


var regExp = /(\d{1,2}(\-|\/|\.)\d{1,2}\2\d{4})/

//防止网站屏蔽我们的爬虫
var headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}

//request模块异步fetch url
function request(url, callback) {
    var options = {
        url: url,
        encoding: null,
        //proxy: 'http://x.x.x.x:8080',
        headers: headers,
        timeout: 10000 //
    }
    myRequest(options, callback)
};

seedget();

function seedget() {
    request(seedURL, function(err, res, body) { //读取种子页面
        // try {
        //用iconv转换编码
        var html = myIconv.decode(body, myEncoding);
        //console.log(html);
        //准备用cheerio解析html
        var $ = myCheerio.load(html, { decodeEntities: true });
        // } catch (e) { console.log('读种子页面并转码出错：' + e) };
        var seedurl_news;
        try {
            seedurl_news = eval(seedURL_format);
        } catch (e) { console.log('url列表所处的html块识别出错：' + e) };
        seedurl_news.each(function(i, e) { //遍历种子页面里所有的a链接
            var myURL = "";
            try {
                //得到具体新闻url
                var href = "";
                href = $(e).attr("href");
                if (href == undefined) return;
                if (href.toLowerCase().indexOf('http://') >= 0) myURL = href; //http://开头的
                else if (href.startsWith('//')) myURL = 'http:' + href; 开头的
                else myURL = seedURL.substr(0, seedURL.lastIndexOf('/') + 1) + href; //其他

            } catch (e) { console.log('识别种子页面中的新闻链接出错：' + e) }

            if (!url_reg.test(myURL)) return; //检验是否符合新闻url的正则表达式
            //console.log(myURL);

            var fetch_url_Sql = 'select url from fetches where url=?';
            var fetch_url_Sql_Params = [myURL];
            mysql.query(fetch_url_Sql, fetch_url_Sql_Params, function(qerr, vals, fields) {
                if (vals.length > 0) {
                    console.log('URL duplicate!')
                } else newsGet(myURL); //读取新闻页面
            });
        });
    });
};

function newsGet(myURL) { //读取新闻页面
    request(myURL, function(err, res, body) { //读取新闻页面
        //try {
        var html_news = myIconv.decode(body, myEncoding); //用iconv转换编码
        //console.log(html_news);
        //准备用cheerio解析html_news
        var $ = myCheerio.load(html_news, { decodeEntities: true });
        myhtml = html_news;
        //} catch (e) {    console.log('读新闻页面并转码出错：' + e);};

        console.log("转码读取成功:" + myURL);
        //动态执行format字符串，构建json对象准备写入文件或数据库
        var fetch = {};
        fetch.title = "";
        fetch.content = "";
        fetch.publish_date = (new Date()).toFormat("YYYY-MM-DD");
        //fetch.html = myhtml;
        fetch.url = myURL;
        fetch.source_name = source_name;
        fetch.source_encoding = myEncoding; //编码
        fetch.crawltime = new Date();

        if (keywords_format == "") fetch.keywords = source_name; // eval(keywords_format);  //没有关键词就用sourcename
        else fetch.keywords = eval(keywords_format);

        if (title_format == "") fetch.title = ""
        else fetch.title = eval(title_format); //标题

        if (date_format != "") fetch.publish_date = eval(date_format); //刊登日期 
        if (fetch.publish_date == undefined || fetch.publish_date == "") return;
        console.log('date: ' + fetch.publish_date);
        fetch.publish_date = regExp.exec(fetch.publish_date)[0];
        fetch.publish_date = fetch.publish_date.replace('年', '-')
        fetch.publish_date = fetch.publish_date.replace('月', '-')
        fetch.publish_date = fetch.publish_date.replace('日', '')
        fetch.publish_date = new Date(fetch.publish_date).toFormat("YYYY-MM-DD");


        if (content_format == "") fetch.content = "";
        else fetch.content = eval(content_format).replace("\r\n" + fetch.author, ""); //内容,是否要去掉作者信息自行决定

        if (source_format == "") fetch.source = fetch.source_name;
        else fetch.source = eval(source_format).replace("\r\n", ""); //来源

        if (desc_format == "") fetch.desc = fetch.title;
        else fetch.desc = eval(desc_format).replace("\r\n", ""); //摘要    

        // var filename = source_name + "_" + (new Date()).toFormat("YYYY-MM-DD") +
        //     "_" + myURL.substr(myURL.lastIndexOf('/') + 1) + ".json";
        // 存储json
        // fs.writeFileSync(filename, JSON.stringify(fetch));

        var fetchAddSql = 'INSERT INTO fetches(url,source_name,source_encoding,title,' +
            'keywords,publish_date,crawltime,content) VALUES(?,?,?,?,?,?,?,?)';
        var fetchAddSql_Params = [fetch.url, fetch.source_name, fetch.source_encoding,
            fetch.title, fetch.keywords, fetch.publish_date,
            fetch.crawltime.toFormat("YYYY-MM-DD HH24:MI:SS"), fetch.content
        ];

        //执行sql，数据库中fetch表里的url属性是unique的，不会把重复的url内容写入数据库
        mysql.query(fetchAddSql, fetchAddSql_Params, function(qerr, vals, fields) {
            if (qerr) {
                console.log(qerr);
            }
        }); //mysql写入
    });
}

有了先前对示例和网页的详细分析，自己写后端代码时轻松了很多。

3.修改index.js文件

var express = require('express');
var router = express.Router();
var mysql = require('../mysql.js');

/* GET home page. */
router.get('/', function(req, res, next) {
    res.render('index', { title: 'Express' });
});

router.get('/process_get', function(request, response) {
    //sql字符串和参数
    var fetchSql = "select url,source_name,source_encoding,title,keywords,publish_date,crawltime,content " +
        "from fetches where title like '%" + request.query.title + "%'";
    mysql.query(fetchSql, function(err, result, fields) {
        response.writeHead(200, {
            "Content-Type": "application/json"
        });
        response.write(JSON.stringify(result));
        response.end();
    });
});


module.exports = router;

4.编写前端代码，以表格显示查询结果

<!DOCTYPE html>
<html>
<header>
    <script src="https://cdn.bootcss.com/jquery/3.4.1/jquery.js"></script>
</header>

<body>
    <form>
        <br> 标题：<input type="text" name="title_text">
        <input class="form-submit" type="button" value="查询">
    </form>
    <div class="cardLayout" style="margin: 10px 0px">
        <table width="100%" id="record2"></table>
    </div>
    <script>
        $(document).ready(function() {
            $("input:button").click(function() {
                $.get('/process_get?title=' + $("input:text").val(), function(data) {
                    $("#record2").empty();
                    $("#record2").append('<tr class="cardLayout"><td>url</td><td>source_name</td>' +
                        '<td>source_encoding</td><td>title</td>     <td>keywords</td><td>publish_date</td><td>crawltime</td><td>content</td></tr>');
                    for (let list of data) {
                        let table = '<tr class="cardLayout"><td>';
                        Object.values(list).forEach(element => {
                            table += (element + '</td><td>');
                        });
                        $("#record2").append(table + '</td></tr>');
                    }
                });
            });

        });
    </script>
</body>

</html>

利用HTML的知识制作前端网页。

5.结果（以输入美国为例）

在这里插入图片描述

总结

历时一个月，总算大体上弄明白了该如何用爬虫爬取网页信息。当自己的爬虫成功运行的那一刻，心里还是非常激动的。而对于解析数据部分的代码，尚停留在只能看懂的阶段，还并未能完全掌握如何自己设计这样的解析数据的函数，未来仍需进一步努力。通过这次爬虫初尝试，也是学会了很多，掌握了部分JavaScript的语法、正则表达式的规则已经jQuery选择器的使用等等，也算小有所得。

回忆x
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
web网页大作业
06-27
上传文件为自己开发的web网页，是用作大作业使用的
Web 编程期中大作业
贾柏寒的博客
04-28 898
Web 编程期中大作业 前言 在做期中作业之前，我们已经学习了HTML,CSS,Node.js,javascript的相关知识，但这个项目还是令我感到一头雾水，不知从何下手，好在有老师给出的爬虫代码示例，我就先从示例开始尝试 初次尝试 准备工作：按照老师的要求配置node.js，并准备vscode中JavaScript的调试文件，以便后续调试代码` ...
web编程期中作业
m0_57629831的博客
04-29 475
新闻爬虫与爬取结果的查询网站的实现 项目要求 新闻爬虫及爬取结果的查询网站 ◦核心需求： ◦1、选取3-5个代表性的新闻网站（比如新浪新闻、网易新闻等，或者某个垂直领域权威性的网站比如经济领域的雪球财经、东方财富等，或者体育领域的腾讯体育、虎扑体育等等）建立爬虫，针对不同网站的新闻页面进行分析，爬取出编码、标题、作者、时间、关键词、摘要、内容、来源等结构化信息，存储在数据库中。 ◦2、建立网站提供对爬取内容的分项全文搜索，给出所查关键词的时间热度分析。 ◦技术要求： ◦1、必须采用Node.JS实现网络爬
Web编程期末大作业
weixin_44201089的博客
06-12 1463
Web编程期末大作业 作业要求 一、实现用户登录和注册的功能 用户只有注册账号登录系统之后才能得到新闻爬虫网站中的数据。
web编程期中项目作业
CHENQIUKE的博客
04-21 822
Web编程期中项目
web大作业.rar
06-19
根据【压缩包子文件的文件名称列表】"162208100099曹志杰期中作业"，我们可以推断出这个作业可能是一位名叫曹志杰的学生在162208100099这个时间段内完成的期中作业。这可能是一个班级编号或者学号，具体的含义需要更...
项目网页设计期中期末大作业HTML+CSS+JS web前端开发技术.个人博客
11-30
这个网页设计期中期末大作业旨在让学生深入理解并实践Web前端开发的基本流程和技巧。 首先，HTML（HyperText Markup Language）是网页内容的基础结构语言，用于定义网页的各个元素，如标题、段落、图片和链接等。在...
网页设计期中作业-精美个人简历
07-25
本次期中作业的主题是“精美个人简历”，它结合了HTML、CSS和Web技术，旨在让学生掌握网页设计的基础与创新技巧。 HTML（HyperText Markup Language）是网页内容的基础，它通过标签来定义网页结构，如标题、段落、...
webProgramming-I:Web编程Visa作业库
05-10
BS435 Web编程1课程期中作业 :globe_showing_Europe-Africa: 埃尔吉耶斯大学计算机工程系 设计者： 1030522874GökselKÜÇÜKŞAHİN :male_sign:‍:male_sign: 教授：博士。 FehimKÖYLÜ 您可以访问该站点： : 。...
python课程期中作业.zip
最新发布
06-14
本“Python课程期中作业”压缩包提供了一份针对初学者的Python学习资源，旨在帮助学生巩固所学知识，提升编程能力。 压缩包中的“ljg_resource”可能包含了一系列与Python课程相关的学习材料，如讲义、练习题、代码...
WEB程序设计大作业
05-22
WEB程序设计大作业 实现多个网页的互联功能 界面漂亮 实用
web程序设计大作业
11-03
大学软件工程专业相关课程的ppt或是word或是视频管理的网站,是web程序设计的大作业.
web网页制作期末大作业
11-17
分享思维,改变世界. web网页制作,期末大作业. 所用技术:html css javascript 分享所学所得
web程序设计大作业+源代码
07-01
本系统实现的主要功能就是学生在线提交实验报告，教师在线批阅实验报告的功能。用PHP语言开发完成，文档内容结构如下： 1系统分析 1.1功能 1.2解决方案 2.系统设计 2.1.1系统流程图 2.1.2 应用程序的文件描述 2.3.1 E-R图 2.3.2 物理模型图 2.3.3创建数据库的代码和创建表的代码 3.系统实现 3.1 CSS 3.2 javascript 3.3 PHP 3.4功能模块的实现
Web程序设计基础大作业
12-28
简单的Web程序设计，使用h5、css、Bootstrap、JavaScript等技术，包括首页，注册页面、图片展示、文章展示，有轮播功能，可播放视频。
Web编程大作业(一)树莓派环境配置、Wifi搭建
MorphLing_的博客
06-06 1284
目录 项目要求和一点想法 树莓派环境配置 烧录Raspbian buster系统 通过网线连接电脑，进入VNC远程桌面 设置静态ip 创建web服务器 安装nodejs 用express框架搭建本地web服务器 通过Wifi热点访问自建的网站 1. 项目要求和一点想法 第一步当然是先把树莓派的硬件装起来 然后第二步就不知道干啥了 简单分析一下，这个项目可以分成两个相对独立的部分，第一部分是在本地先把网站的大多数功能实现，（不同类型用户登录、即时文件共享、WebSocket下发文件、Ca
web编程期末大作业
往事随风
06-26 1891
web编程期末大作业
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值