记一次nodejs 爬虫（利用递归循环nightmare）

记一次nodejs 爬虫（利用递归循环nightmare）

新手，欢迎交流

目标网站

这里的网址很有规律，方便我们获取图书列表的url

nightmare几个主要的api 具体参考：http://www.manongjc.com/detail/8-roxmpabfhewimht.html

• .goto(url,options) url:目标网站 options:伪造头部信息

• .wait(callback[selector]) 这个方法会重复调用，直到 return true,

  可以传入选择器，如: .wait(‘body’) 意指等待body加载完成

• .inject(type, file) 注入本地文件,type: css js

• .evaluate(callback) 这里的返回值可以在.then方法中接收到

• .then() 获得处理结果

• .catch() 抛出错误

• .end() 关闭浏览器，注意关闭后调用不了goto 方法，如果需要循环请求url,不能调此方法

note: .wait&.evaluate中的代码要做浏览器中运行

爬取书籍列表

var Nightmare = require('nightmare');       
var nightmare = Nightmare({
    show: true });
var fs = require('fs');
var mysql = require('mysql');
var async = require('async');

let options = {
   
				host:'localhost',
				port:'3306',
				user:'root',
				password:'root',
				database:'juveniledata'
}
var connection = mysql.createConnection(options);
connection.connect(function(err){
   
	if(err){
   
		console.log(err);
	}else{
   
		console.log('database连接成功')
	}
});

 function funcasy(i,connection){
   
	nightmare
		.goto(`http://item.kongfz.com/Cxiaoshuo/tag_k34k33k30k30k35w${
     i}/`,{
   
				'User-Agent': 'Mozilla/5.0 (iPhone; U; CPU iPhone OS 5_1_1 like Mac OS X; en) AppleWebKit/534.46.0 (KHTML, like Gecko) CriOS/19.0.1084.60 Mobile/9B206 Safari/7534.48.3',
				'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
				
				'Accept-Language': 'zh-CN,zh;q=0.9',
				'Cache-Control': 'no-cache'
			})
		
		.wait(function(){
   
			if(document.getElementsByClassName('result-list')[0]) return true;
		})
		.wait(function(){
   
			window.lyharr = [];
			return true;
		})