- 博客(19)
- 资源 (2)
- 收藏
- 关注
原创 node 爬虫处理cookie,代理
在进行爬虫任务时需要存储cookielet parseCookie=function (cookie) { let cookies={}; if (!cookie) { return cookies; } let list=cookie.split(';'); for (let i;i<list.length;i++) { le
2017-09-30 23:38:13 2539
翻译 node csv文件流读取
csv文件流读取,可以应对大文件,数据截断发送,不会出现内存不足的情况 function readInAppEventReports(user,date,filePath, callback) { var reports = []; var google_facebook_reports=[]; var other_reports=[]; var item_other
2017-09-29 18:34:52 1578
翻译 node文件读取流
request(url, function (err) { if (!err) pathAr.push(filePath); cb(err) }).pipe(fs.createWriteStream(filePath)); 该方法是同步的,要等到流读取完毕后,才会执行回调cb(err)
2017-09-29 18:20:59 471
翻译 Chrome扩展,下载网页上所有图片
manifest.json{ "manifest_version":2, "name": "chrome_ex_download", "version": "0.0.1", "description":"下载所有的图片", "background":{ "scripts":["background.js"], "persistent":false }, "
2017-09-20 17:52:02 4457
翻译 Chrome浏览器扩展
预览 https://crxdoc-zh.appspot.com/extensions/overview 图灵社区 http://www.ituring.com.cn/book/miniarticle/60212# 360极速浏览器应用开发平台 http://open.chrome.360.cn/extension_dev/overview.html
2017-09-16 16:33:20 411
原创 node大内存操作Buffer
let x='abcdefg'; let y='零一二三四五六七八九十'; console.log(x.length) //7 console.log(y.length) //11 let str="深入浅出node.js"; let buf=new Buffer(str,'utf-8'); //buffer是C++层面分配的,所得内存不在V8内 //buffer是用来处理大文件,二进制数据的 /
2017-09-15 22:50:05 753
原创 node内存管理
简单缓存let LimitableMap=function (limit) { this.limit=limit || 10; this.map={}; this.keys=[]; };let hasOwnProperty=Object.prototype.hasOwnProperty; LimitableMap.prototype.set=function (key,value) {
2017-09-14 16:36:20 309
原创 node爬虫HTTP请求中的form data和request payload的区别
参考: http://www.cnblogs.com/btgyoyo/p/6141480.html 代码片段:let request = require('request'); let cheerio = require('cheerio'); let async=require('async'); let querystring=require('querystring'); let login
2017-09-12 23:07:08 2587 1
原创 node异步编程流程控制库
(一)尾触发和next()尾触目前应用最多的地方就是connect中间件 connect中间件api暴露方式var app = connect(); // Middleware app.use(connect.staticCache()); app.use(connect.static(__dirname + '/public')); app.use(connect.cookieParser())
2017-09-11 23:52:32 449
原创 node 异步编程Promise容器
Promise介绍Promise是ES语言标准里面提供的一种异步编程解决方案,promise相当于一个容器,promise容器的状态只有两种,完成状态,失败状态 ;容器的状态一旦改变就不可逆。 框架构成:promise是高级接口,事件模块events是低级模块并提供基础性支持promise提案有很多种模型,CommonJS目前已经了Promises/A、Promises/B、Promises/D
2017-09-11 22:28:33 346
翻译 nodejs HTTP模块SuperAgent
好用的 HTTP模块SuperAgenthttp://www.jianshu.com/p/98b854322260GitHub文档介绍https://github.com/wangning0/Autumn_Ning_Blog/blob/master/blogs/3-19/superAgent_learn.md
2017-09-05 14:29:13 2103
翻译 JavaScript闭包简介
参考阮一峰的JavaScript教程 http://www.ruanyifeng.com/blog/2009/08/learning_javascript_closures.html
2017-09-05 14:24:12 139
翻译 JavaScript种==和===
==用于一般比较,===用于严格比较,==在比较的时候可以转换数据类型,===严格比较,只要类型不匹配就返回flase。举例说明:“1” == true类型不同,”==”将先做类型转换,把true转换为1,即为 “1” == 1;此时,类型仍不同,继续进行类型转换,把”1”转换为1,即为 1 == 1;此时,”==” 左右两边的类型都为数值型,比较成功!如果比较:”1” === true,左侧为字符
2017-09-05 14:11:50 126
翻译 nodejs以及JavaScript提升
nodejs饿了么大前端 Node.js 进阶教程 https://cnodejs.org/topic/58ad76db7872ea0864fedfcc 《Koa2进阶学习笔记》 https://github.com/ChenShenhai/koa2-note 今天想谈谈javascript中的prototype. http://www.cnblogs.com/lwzz/archive/20
2017-09-05 13:56:16 312
翻译 nodejs爬虫参考
http://www.cnblogs.com/coco1s/p/4954063.htmlhttp://blog.didispace.com/nodejspachong/
2017-09-03 22:56:58 248
翻译 ES6新语法
console.log('******set******'); const s=new Set(); [2,3,5,4,5,2,2].forEach(x=>s.add(x)); for (let i of s){ console.log(i); } console.log('spread'); const set2=new Set([1,2,3,4,5,5,5]); console.log(
2017-09-01 15:58:05 315
android访问网络jar(阿帕奇)
2016-07-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人