node.js爬虫实验

最新推荐文章于 2023-08-22 14:19:46 发布
最新推荐文章于 2023-08-22 14:19:46 发布
阅读量260 收藏 1
点赞数
文章标签： nodejs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_47381852/article/details/105946952
版权

node.js爬虫实验


实验要求

1.爬取种子网页
以人民网为例

待爬取网站的url及编码方式：

var source_name = "人民网";
var domain = 'http://www.people.com.cn/';
var myEncoding = "GBK";
var seedURL = 'http://www.people.com.cn/';

需要爬站的信息：关键词、标题、作者、时间等

var seedURL_format = "$('a')";
var keywords_format = "$('meta[name=\"keywords\"]').eq(0).attr(\"content\")";
var title_format = "$('title').text()";
var date_format = " $('meta[property=\"article:published_time\"]').eq(0).attr(\"content\")";
var author_format = " $('meta[property=\"article:author\"]').eq(0).attr(\"content\")";
var content_format = "$('.article').text()";
var desc_format = " $('meta[name=\"description\"]').eq(0).attr(\"content\")";
var source_format =" $('meta[name=\"mediaid\"]').eq(0).attr(\"content\")";
var url_reg = /\/(\d{4})-(\d{2})-(\d{2})\/(\w{3})-(\w{15}).shtml/;
var regExp = /((\d{4}|\d{2})(\-|\/|\.)\d{1,2}\3\d{1,2})|(\d{4}年\d{1,2}月\d{1,2}日)/

引入需要的包：

var fs = require('fs');
var myRequest = require('request')
var myCheerio = require('cheerio')
var myIconv = require('iconv-lite')
require('date-utils');

防止网站屏蔽我们的爬虫，伪装成一个浏览器

var headers = {    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'}

构造模拟浏览器的request

function request(url, callback) {
    var options = {
            url: url,
            encoding: null,
            //proxy: 'http://x.x.x.x:8080',
            headers: headers,        
            timeout: 10000 //
            }    
            myRequest(options, callback)
 }

读取种子界面的链接

request(seedURL, function(err, res, body) {
    // try {    
    //用iconv转换编码    
    var html = myIconv.decode(body, myEncoding);
    //console.log(html);    
    //准备用cheerio解析html    
    var $ = myCheerio.load(html, { decodeEntities: true });
    //}  catch (e) { console.log('读种子页面并转码出错：' + e) };
    var seedurl_news;
    try {
        seedurl_news = eval(seedURL_format);
        //console.log(seedurl_news);    
        } catch (e) { console.log('url列表所处的html块识别出错：' + e) };
    seedurl_news.each(function(i, e) { //遍历种子页面里所有的a链接        
    var myURL = "";        
    try { 
         //得到具体新闻url                
         var href = "";                
         href = $(e).attr("href");                
         if (href == undefined) return;                
         if (href.toLowerCase().indexOf('http://') >= 0) myURL = href; //http://开头的                
        else if (href.startsWith('//')) myURL = 'http:' + href; 开头的                
        else myURL = seedURL.substr(0, seedURL.lastIndexOf('/') + 1) + href; //其他
         } catch (e) { console.log('识别种子页面中的新闻链接出错：' + e) }    
     if (!url_reg.test(myURL)) return; //检验是否符合新闻url的正则表达式        
     //console.log(myURL);
     var fetch_url_Sql = 'select url from fetches where url=?';            
     var fetch_url_Sql_Params = [myURL];            
     mysql.query(fetch_url_Sql, fetch_url_Sql_Params, 
     function(qerr, vals, fields) {                
     if (vals.length > 0) {                    
     console.log('URL duplicate!')        
      } else newsGet(myURL); //读取新闻页面   
     });
 });

读取新闻页面中的元素并保存到fetch对象里
将fetch对象保存在文件中

function newsGet(myURL) { //读取新闻页面    
     request(myURL, function(err, res, body) { //读取新闻页面        
     //try {        
     var html_news = myIconv.decode(body, myEncoding); 
     //用iconv转换编码        
     //console.log(html_news);        
     //准备用cheerio解析html_news
     var $ = myCheerio.load(html_news, { decodeEntities: true });        
     myhtml = html_news;        
     //} catch (e) {    
     console.log('读新闻页面并转码出错：' + e);};
     console.log("转码读取成功:" + myURL);        
     //动态执行format字符串，构建json对象准备写入文件或数据库        
     var fetch = {};        
     fetch.title = "";        
     fetch.content = "";        
     fetch.publish_date = (new Date()).toFormat("YYYY-MM-DD");        
     //fetch.html = myhtml;        
     fetch.url = myURL;        
     fetch.source_name = source_name;        
     fetch.source_encoding = myEncoding; //编码        
     fetch.crawltime = new Date();
        
      if (keywords_format == "") fetch.keywords = source_name; // eval(keywords_format);  //没有关键词就用sourcename        
      else fetch.keywords = eval(keywords_format);
        
      if (title_format == "") fetch.title = ""        
      else fetch.title = eval(title_format); //标题
        
      if (date_format != "") fetch.publish_date = eval(date_format); //刊登日期           
      console.log('date: ' + fetch.publish_date);        
      fetch.publish_date = regExp.exec(fetch.publish_date)[0];        
      fetch.publish_date = fetch.publish_date.replace('年', '-')        
      fetch.publish_date = fetch.publish_date.replace('月', '-')        
      fetch.publish_date = fetch.publish_date.replace('日', '')        
      fetch.publish_date = new 
 Date(fetch.publish_date).toFormat("YYYY-MM-DD");
        
      if (author_format == "") fetch.author = source_name; //eval(author_format);  //作者        
      else fetch.author = eval(author_format);
      if (content_format == "") fetch.content = "";        
      else fetch.content = eval(content_format).replace("\r\n" + fetch.author, ""); //内容,是否要去掉作者信息自行决定
      if (source_format == "") fetch.source = fetch.source_name;        
      else fetch.source = eval(source_format).replace("\r\n", ""); //来源
      if (desc_format == "") fetch.desc = fetch.title;        
      else fetch.desc = eval(desc_format).replace("\r\n", ""); //摘要    
      var filename = source_name + "_" + (new Date()).toFormat("YYYY-MM-DD") +           
       "_" + myURL.substr(myURL.lastIndexOf('/') + 1) + ".json";        
       存储json        
       fs.writeFileSync(filename, JSON.stringify(fetch));   
     })
 ;}

在这里插入图片描述
在这里插入图片描述

2.将爬取的内容存入mysql数据库
下载mysql并初始化：
在官网（https://dev.mysql.com/downloads/mysql/）下载mysql到c盘
以管理员身份打开命令行工具
打开bin文件夹：

cd C:\mysql\bin

安装mysql服务：

mysqld -install

初始化mysql ：

mysqld --initialize --console

启动mysql ：

net start mysql

进入mysql ：

mysql -u root -p

修改密码

alter user 'root'@'localhost'identified by 'root'

给root用户授权从客户端访问

alter user 'root'@'localhost' identified with mysql_native_password by 'root'
flush privileges

创建数据库crawl和表fetches：

create database crawl;
use crawl;
CREATE TABLE `fetches` (  
`id_fetches` int(11)  NOT NULL AUTO_INCREMENT,  
`url` varchar(200) DEFAULT NULL,  
`source_name` varchar(200) DEFAULT NULL,  
`source_encoding` varchar(45) DEFAULT NULL,  
`title` varchar(200) DEFAULT NULL,  
`keywords` varchar(200) DEFAULT NULL,  
`author` varchar(200) DEFAULT NULL,  
`publish_date` date DEFAULT NULL,  
`crawltime` datetime DEFAULT NULL,  
`content` longtext,  
`createtime` datetime DEFAULT CURRENT_TIMESTAMP,  
PRIMARY KEY (`id_fetches`),  
UNIQUE KEY `id_fetches_UNIQUE` (`id_fetches`),  
UNIQUE KEY `url_UNIQUE` (`url`)) 
ENGINE=InnoDB DEFAULT CHARSET=utf8;

修改爬虫代码
加mysql模块

var mysql=require（'./mysql.js'）

在newsGet函数中修改

var fetchAddSql = 'INSERT INTO fetches(url,source_name,source_encoding,title,' +            
'keywords,author,publish_date,crawltime,content) VALUES(?,?,?,?,?,?,?,?,?)';        
var fetchAddSql_Params = [fetch.url, fetch.source_name, fetch.source_encoding,            
fetch.title, fetch.keywords, fetch.author, fetch.publish_date,            
fetch.crawltime.toFormat("YYYY-MM-DD HH24:MI:SS"), fetch.content        ];
//执行sql，数据库中fetch表里的url属性是unique的，不会把重复的url内容写入数据库        
mysql.query(fetchAddSql, fetchAddSql_Params, function(qerr, vals, fields) {            
if (qerr) {               
console.log(qerr);

运行结果：在这里插入图片描述
3功能拓展
（1）爬取之前查询mysql数据库，是否已爬取过：

var fetch_url_Sql = 'select url from fetches where url=?';            
var fetch_url_Sql_Params = [myURL];            
mysql.query(fetch_url_Sql, fetch_url_Sql_Params, function(qerr, vals, fields) {                
if (vals.length > 0) {                    
console.log('URL duplicate!')                
} else newsGet(myURL); //读取新闻页面

（2）定时工作
引入第三方包node-schedule ：npm install node-schedule

var schedule=require('node-schedule');
//！定时执行
var rule = new schedule.RecurrenceRule();
var times = [0, 12]; //每天2次自动执行
var times2 = 5; //定义在第几分钟执行
rule.hour = times;rule.minute = times2;
//定时执行httpGet()函数
schedule.scheduleJob(rule, function() { 
   seedget()
   ;});

4.用express构建网站访问mysql中的数据并实现搜索功能

js代码

var express = require('express');
var mysql = require('./mysql.js')
var app = express();
//app.use(express.static('public'));
app.get('/7.03.html', function(req, res) {        
    res.sendFile(__dirname + "/" + "7.03.html");
})
app.get('/7.04.html', function(req, res) {    
    res.sendFile(__dirname + "/" + "7.04.html");})
app.get('/process_get', function(req, res) {    res.writeHead(200, { 'Content-Type': 'text/html;charset=utf-8' }); //设置res编码为utf-8    
     //sql字符串和参数    
     var fetchSql = "select url,source_name,title,author,publish_date from fetches where title like '%" +
             req.query.title + "%'";
     mysql.query(fetchSql, function(err, result, fields) {        
         console.log(result);
         res.end(JSON.stringify(result));   
          })
   ;})
   var server = app.listen(8080, function() {
       console.log("访问地址为 http://127.0.0.1:8080/7.03.html")
})

在nodejss文件夹下运行命令行，输入express -e search_site,创建一个search_site的文件夹，把之前写的mysql.js拷贝进去。然后在文件夹下运行命令行，输入npm install mysql -save和npm install来安装包和依赖项。
安装完毕以后用vscode打开search_site文件夹，找到index.js文件进行修改。

var express = require('express');
var router = express.Router();
var mysql = require('./mysql.js');
/* GET home page. */
router.get('/', function(req, res, next) {    
res.render('index', { title: 'Express' });
});

router.get('/process_get', function(request, response) {    
    //sql字符串和参数    
    var fetchSql = "select url,source_name,title,author,publish_date " +        
        "from fetches where title like '%" + request.query.title + "%'";    
    mysql.query(fetchSql, function(err, result, fields) {        
         response.writeHead(200, {
            "Content-Type": "application/json" 
       });        
    response.write(JSON.stringify(result));        
    response.end();    
      });
});
module.exports = router;

在search_site/public文件夹下创建search.html前端

<!DOCTYPE html>
<html>
<header>
    <script src="https://cdn.bootcss.com/jquery/3.4.1/jquery.js"></script>
</header>
<body> 
    <form>        
        <br> 标题：<input type="text" name="title_text">        
        <input class="form-submit" type="button" value="查询">    
    </form>
    <div class="cardLayout" style="margin: 10px 0px">        
        <table width="100%" id="record2"></table>    
    </div>
    <script>
            $(document).ready(function() {
                $("input:button").click(function() {                
                    $.get('/process_get?title=' + $("input:text").val(), function(data) {                    
                    $("#record2").empty();
                    $("#record2").append('<tr class="cardLayout"><td>url</td><td>source_name</td>' +                        
                    '<td>title</td><td>author</td><td>publish_date</td></tr>');                    
                    for (let list of data) {
                         let table = '<tr class="cardLayout"><td>';                        
                         Object.values(list).forEach(element => {                        
                             table += (element + '</td><td>');                       
                              });                        
                              $("#record2").append(table + '</td></tr>');                
                               }      
                     }); 
               });
         });    
        </script>
</body>
</html>

在search_site文件夹下cmd运行：node bin/www
用chrome浏览器打开http://127.0.0.1/search.html

运行结果：
在这里插入图片描述

5.总结
实验刚开始时，我一点nodejs，hlmt相关的知识都不会，便去找相关的教程和书看，但是完全不能给我带来思路。后来从老师的代码入手，从看懂代码到修改代码，最终完成了实验。实验中遇到的问题还并没有全部解决，之前尝试爬取的新浪新闻不同的种子界面中date的表达不一样，导致经常爬取几个新闻就结束了，最终选择了换一个网站爬取成功了。
第一次实验给我最大的体会是要从实验本身的要求入手，不能盲目地去学相关的基础知识，要在实验中将知识掌握，否则看了很多知识点实验还是会无从下手。

learner_1535
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
NodeJS-experiments:NodeJS 的各种实验
07-21
NodeJS 实验 在这个存储库中，您可以使用 NodeJS 进行各种有趣的实验 广播鼠标位置 在此文件夹中，您将找到一个 NodeJS 实验来广播您的鼠标位置、鼠标单击并滚动到所有其他客户端。 要查看效果在多个浏览器窗口中打开此链接 小型登录系统 NodeJS 中的一个小型登录系统，带有 mysql 和权限。 用户可以注册和登录以及一个隐藏的管理页面。
node.js爬虫爬取拉勾网职位信息
10-20
本篇文章主要介绍了node.js爬虫爬取拉勾网职位信息的方法。具有很好的参考价值。下面跟着小编一起来看下吧
Nodejs测试
weixin_34417183的博客
11-05 590
1. Mocha js 测试框架，能运行在Node.js 和浏览器中，支持BDD和TDD测试。 灵活(不包括断言和仿真，自己选对应工具)，允许使用其他断言库。 社区成熟用的人多，测试各种东西社区都有示例 （本文采用Node内置的assert断言，可自行了解其他断言库） 1.1 安装 # node环境下 npm install -g mocha 复制代码1.2 脚本编写 测试集(...
web编程期中项目作业
CHENQIUKE的博客
04-21 791
Web编程期中项目
第一次爬虫
张嘉睿的博客
05-03 323
前言 本人2019级大一学生，编程基础仅限于大一上期学习的C语言，目前接触Node.js差不多半学期，按照老师的模板，大概做了一次四不像 还算比较像样的爬虫实验。 这篇文章就是此次实验里遇到的一些经验，望大家多多指教。 准备工作 首先下载Node.js以及VSCode这两个软件 找到电脑里的cmd命令行 然后还需要下载一些安装包，如request，cheerio，mysql等等 接下来就可以开始快...
Node.js爬虫实验项目（一）需求与基础
Emma的博客
05-02 310
需求 核心需求： 选取新闻网站3-5个（新浪新闻、网易新闻、雪球经济、东方财富、腾讯体育、虎扑体育）针对不同网站的新闻页面进行分析，爬取出编码、标题、作者、时间、关键词、摘要、内容、来源等结构化信息,存储在数据库中 建立网站提供对爬取内容的分项全文搜索，给出所查关键词的时间热度分析。 技术要求： 1.必须采用Node.JS实现网络爬虫。 2.必须采用Node.JS实现查询网站后端，HTML+J...
ECharts配合Node.js爬虫实现数据可视化
萌萌哒的瑞萌萌的博客
08-22 1031
可视化技术是将数据和信息以图形化的方式展示出来，以便更好地理解和分析。可视化技术通常使用各种图表、图形、动画和交互式效果来呈现数据。可视化技术有以下几个基本概念：数据：可视化技术的基础是数据。数据可以是数字、文本、图片、视频等形式。数据可以通过各种方式获取，如传感器、数据库、网络爬虫等。可视化工具：可视化工具是用于创建和呈现可视化效果的软件应用程序。常见的可视化工具有D3.js、ECharts、Tableau等。
手把手教你用Node.js爬虫爬取网站数据的方法
10-18
主要介绍了手把手教你用Node.js爬虫爬取网站数据，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Node.js-一款租房APP基于Node.js爬虫
08-10
一款租房 APP，基于 Node.js 爬虫，爬取 58 同城租房信息，并用地图进行可视化展示，方便用户获取周围租房信息
node.js实现爬虫
03-29
node.js实现爬虫，有界面。直接npm i就行,然后npm app.js就可以启动。。
Node.js爬虫实验项目（三）基础代码与更新
Emma的博客
05-05 221
实现代码 1.分析种子页面。 2.分析出种子页面里的所有新闻链接。 3.爬取所有新闻链接的内容。 4.分析新闻页面内容。 5.将结构化数据保存到本地文件。 1.引入必须的模块，定义要访问的网站 var fs = require('fs'); var myRequest = require('request') var myCheerio = require('cheerio') var myIco...
Node.js爬虫项目实验1
paper_cat的博客
05-06 246
Node.js爬虫项目示例1 1.核心需求 选取3-5个新闻网站建立爬虫，针对不同网站的新闻页面进行分析，爬取出编码、标题、作者、时间、关键词、摘要、内容、来源等结构化信息，存储在数据库中。 建立网站提供对爬取内容的分项全文搜索，给出所查关键词的时间热度分析。 2.技术要求 采用Node.JS实现网络爬虫 采用Node.JS实现查询网站后端，HTML+JS实现前端（尽量不要使用任何前后端...
注册与表格显示.rar
06-13
注册与表格显示.rar
aiohttp-3.8.0-cp36-cp36m-musllinux_1_1_x86_64.whl
06-13
Python库是一组预先编写的代码模块，旨在帮助开发者实现特定的编程任务，无需从零开始编写代码。这些库可以包括各种功能，如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库，如NumPy、Pandas和Requests，极大地丰富了Python的应用领域，从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径，而且为经验丰富的开发者提供了强大的工具，以高效率、高质量地完成复杂任务。例如，Matplotlib和Seaborn库在数据可视化领域内非常受欢迎，它们提供了广泛的工具和技术，可以创建高度定制化的图表和图形，帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
fpga有助于大家理解和学习
06-13
fpga
pyzmq-14.4.1-py2.7-macosx-10.6-intel.egg
最新发布
06-13
Python库是一组预先编写的代码模块，旨在帮助开发者实现特定的编程任务，无需从零开始编写代码。这些库可以包括各种功能，如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库，如NumPy、Pandas和Requests，极大地丰富了Python的应用领域，从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径，而且为经验丰富的开发者提供了强大的工具，以高效率、高质量地完成复杂任务。例如，Matplotlib和Seaborn库在数据可视化领域内非常受欢迎，它们提供了广泛的工具和技术，可以创建高度定制化的图表和图形，帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
基于Selenium的Java爬虫实战(内含谷歌浏览器Chrom和Chromedriver版本121.0.6105.0)
06-13
资源包括: 1.Java爬虫实战代码 2.selenium学习笔记 3.代码演示视频 4.谷歌浏览器chrom121.0.6105.0 chrome-linux64.zip chrome-mac-arm64.zip chrome-mac-x64.zip chrome-win32.zip chrome-win64.zip 5.谷歌浏览器驱动器Chromedriver121.0.6105.0 chromedriver-linux64.zip chromedriver-mac-arm64.zip chromedriver-mac-x64.zip chromedriver-win32.zip chromedriver-win64.zip 特别说明:Chrome 为测试版(不会自动更新) 仅适用于自动测试。若要进行常规浏览，请使用可自动更新的标准版 Chrome。)
node.js 爬虫
08-05
Node.js的高效、轻量级和事件驱动特点使其非常适合编写爬虫程序。在编写Node.js爬虫程序时，可以使用Node.js的http模块发送HTTP请求获取网页数据，然后借助第三方插件cheerio来解析网页数据。通过选择器和DOM操作，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值