nodejs
davidsu33
这个作者很懒,什么都没留下…
展开
-
在webstorm11中使用nodejs库的智能提示功能
webstorm中默认只是打开ecmascript的智能提示,如果需要使用nodejs作为js的引擎,请打开nodejs的智能提示功能,File -> Settings... -> Languages&Frameworks -> Node.js and NPM 页Code Assistatant启用Node.js库的代码提示即可,如下图原创 2016-09-19 16:45:20 · 11731 阅读 · 0 评论 -
nodejs爬取蜻蜓fm的歌曲
例子爬取蜻蜓fm上的翻唱歌曲:代码不长,可以看看/** * Created by ds on 2016/10/30. */const http = require('http')const request = require('request')const async = require('async')const util = require('util')const _ =原创 2016-10-30 18:34:13 · 2369 阅读 · 0 评论 -
Nodejs大批量下载图片入坑指南(使用async和bagpipe处理大并发量请求)
Nodejs大批量下载图片入坑指南(使用async和bagpipe处理大并发量请求)时间 2016-08-04 17:37:16 令狐葱原文 http://jiji262.github.io/2016/08/06/nodejs-batch-download-images-with-async-and-bagpipe/主题 Node.js 并发故事还得从头说起转载 2016-09-30 15:55:13 · 6071 阅读 · 1 评论 -
nodejs + async
链接:http://sharenjoy.net/?p=245转载 2016-09-30 15:27:12 · 283 阅读 · 0 评论 -
nodejs的defer库Q(q)
在js中,各种回调,各种代码嵌套,导致代码风格很不好看,所以出现了流式风格的promise,promise和twisted的defer以及QT中并行库的future是一个概念,都是说明以后做什么,都是异步操作,不过QT的是多线程异步,而twisted和js都是单线程的,使用promise这样就不用把代码都写到各种回调中了,直接一个then就可以搞定了。例如一下代码风格。/* 在nodej原创 2016-10-13 17:15:37 · 4318 阅读 · 0 评论 -
nodejs爬虫增强版本,效率真心不错
//从zngirls的网站上爬取一张图片,并进行异步存储//http://t1.zngirls.com/gallery/18071/18812/047.jpg (Paste Shift+Insert)//测试结果异步下载的效率还是相当不错的,感觉比scrapy不差//jquery使用$符号来进行包封//var $ = require('jQuery');//var jsdom = re原创 2016-09-27 11:02:41 · 4289 阅读 · 0 评论 -
nodejs中request模块proxy的使用方法
request.post({url:url,proxy:'http://username:password@url:port',oauth:oauth} var options = { host: url, port: port, path: requestPath,headers: { 'Proxy-Authenticat转载 2016-09-27 09:45:46 · 8940 阅读 · 0 评论 -
async太好用了,用了两个小时写的代码
/* 从5442网站上把所有的热门推荐下载下来 async+cheerio+request */const util = require('util');const request = require('request');const http = require('http');const fs = require('fs');const cheerio = require('ch原创 2016-10-11 23:20:09 · 6299 阅读 · 0 评论 -
async中流程控制的applyEach,applyEachSeries,compose, during的用法
/*async的流程控制*/const async = require('async');const fs = require('fs');const util = require('util');//测试用例函数function showName(person, callback) { if ('name' in person) { //等待5秒以后开始执行操原创 2016-10-11 15:09:14 · 1460 阅读 · 0 评论 -
nodejs.async中流程控制auto,autoInject,cargo的用法
/*async的流程控制*/const async = require('async');const fs = require('fs');const util = require('util');//异步流程控制测试类function AsyncControlFlowTest() {}AsyncControlFlowTest.prototype = { //根据列出的原创 2016-10-11 09:18:40 · 2313 阅读 · 0 评论 -
nodejs学习-post请求处理
http_post.js代码:var process = require('process');var listen_port = 3000;//服务器接收请求,将相应数据写回//客户端发出请求,接收响应http.createServer( function(req, res){ var buf = new Buffer(0); //接收请原创 2016-09-21 10:00:21 · 663 阅读 · 0 评论 -
nodejs下载网络资源的三种方法写入数据
//三种方法来保存网络资源文件http.get(options, function(res) { //直接使用Buffer的concat来进行连接,合并Buffer之后一次性写入 var buffer = new Buffer(0); //使用字符串来进行读写,这里特别要注意的事情就是编码,特别需要注意的是 //如果数据是二进制流的话,请一定使用ascii来统一B原创 2016-09-20 21:57:18 · 4335 阅读 · 0 评论 -
nodejs使用asyn优化的爬取
/* 使用request + cheerio来爬取zngirls网站上的数据 */const request = require('request');const http = require('http');const fs = require('fs');const cheerio = require('cheerio');const url = require('url');原创 2016-10-09 20:56:13 · 1860 阅读 · 0 评论 -
nodejs使用async来进行优化
原来的爬取方式,会导致很多个连接同时访问服务器,而导致连接错误,修改为使用async的queue,保持始终只有两个处于激活的状态就不会出现这种问题了未使用async前的代码:/* 使用request + cheerio来爬取zngirls网站上的数据 */const request = require('request');const http = require('http');原创 2016-10-09 20:49:33 · 1759 阅读 · 0 评论 -
nodejs+cheerio 爬虫入门
var http = require('http');var cheerio = require('cheerio');var url = require('url');var zlib = require('zlib');var fs = require('fs');//www.imooc.com和www.zngirls.com网站都支持gzip格式//所以导致认为接收的数据是错误原创 2016-09-23 16:14:53 · 8251 阅读 · 0 评论 -
使用nodejs写的小爬虫,测试速度,感觉挺快的
//从zngirls的网站上爬取一张图片,并进行异步存储//http://t1.zngirls.com/gallery/18071/18812/047.jpg (Paste Shift+Insert)//测试结果异步下载的效率还是相当不错的,感觉比scrapy不差//jquery使用$符号来进行包封//var $ = require('jQuery');//var jsdom = re原创 2016-09-20 16:09:59 · 2165 阅读 · 0 评论 -
关于npm的本地安装路径的问题?
查看npm root,路径始终指向/Users/*****/node_modules,以前都是指向执行npm install的路径的,换句话说不论在哪个目录执行npm install,最后都是安装到/Users/*****/node_modules这个路径下了,是什么原因导致的,有什么办法能够改回来,求助。ps:osx系统一如既往的没人搭理 ∪︿∪不过今天在公司转载 2016-09-23 08:42:12 · 4896 阅读 · 0 评论 -
nodejs中使用async来对异步操作进行同步,避免多个异步同时启动引发连接错误
/* 对于nodejs中由于几乎大部分的操作都是异步的,所以我们都是通过一层层的函数来实现。 而异步也会带来一些问题,那就是同时并发过度的request,就会导致链接失败(或则连接被关闭) 如何做到既能异步操作,又能控制并发数目,asyn库应该是可以满足需要 */const url = require('url');const request = require('request');原创 2016-10-08 17:14:04 · 3612 阅读 · 0 评论