![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
小小网站开发-nodejs爬取知乎
奈何点点寒
这个作者很懒,什么都没留下…
展开
-
mac 安装nodejs 包报错 permission denied
没有权限,就只好在命令npm或者cnpm命令前加一个sudo了原创 2019-07-22 11:21:40 · 1518 阅读 · 0 评论 -
nodejs express搭建服务器(爬虫知乎精华帖,个人学习用)一 爬取所有话题类型
首先爬取话题广场所有话题。var cheerio = require('cheerio');var iconv = require('iconv-lite');var https= require('https');var mysql = require('mysql');var querystring=require('querystring');var topic_list = ...原创 2019-08-12 09:33:45 · 431 阅读 · 0 评论 -
nodejs express搭建服务器(爬虫知乎精华帖,个人学习用)二 找到每一类话题中的精华帖的链接
var cheerio = require('cheerio');var iconv = require('iconv-lite');var https= require('https');var mysql = require('mysql');var limit = 10;var offset = 0;var question_url = 'https://www.zhihu.c...原创 2019-08-12 09:52:42 · 222 阅读 · 0 评论 -
nodejs express搭建服务器(爬虫知乎精华帖,个人学习用)三 在精华帖中找到所有书名号的内容
var cheerio = require('cheerio');var iconv = require('iconv-lite');var https= require('https');var mysql = require('mysql');const userAgents = [ 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1....原创 2019-08-12 10:03:55 · 257 阅读 · 0 评论 -
nodejs express搭建服务器(爬虫知乎精华帖,个人学习用)四 存储提到的内容的次数
var cheerio = require('cheerio');var iconv = require('iconv-lite');var https= require('https');var mysql = require('mysql');// 创建连接var connection = mysql.createConnection({ host : 'local...原创 2019-08-12 10:12:42 · 142 阅读 · 0 评论 -
nodejs express搭建服务器(爬虫知乎精华帖,个人学习用)五 对提到的关键字(书名或者电影名)去百度百科上爬取介绍
var https = require('https');var iconv = require('iconv-lite');var cheerio = require('cheerio');var mysql = require('mysql');var text_url = 'https://www.zhihu.com/question/36260262/answer/6768660...原创 2019-08-12 10:31:19 · 314 阅读 · 0 评论 -
nodejs express搭建服务器(爬虫知乎精华帖,个人学习用)六 在express中建立路由
创建express的过程以及开启html引擎我就不赘述了。var express = require('express');var router = express.Router();var mysql = require('mysql');// 创建连接var connection = mysql.createConnection({ host : 'localhos...原创 2019-08-12 10:41:45 · 153 阅读 · 0 评论 -
nodejs express搭建服务器(爬虫知乎精华帖,个人学习用)六 html
使用的是express后台返回html。res.render(‘xxx(html名称)’);有可能在浏览器里看到的是静态文件,是因为浏览器把它认为是文件格式,所以要设置头res.set({‘Content-Type’: ‘text/html’});...原创 2019-08-12 11:39:53 · 221 阅读 · 0 评论