爬虫创建步骤
1、http模块创建服务和request请求测试
nodejs环境下,主要以模块来进行开发,离开了模块nodejs将失去光彩。http模块作为它比较重要的一个模块,可以用来帮我们创建一个服务器。
我们来测试使用一下这个模块:
const http = require("http");
//创建服务
http.createServer((req,res)=>{
res.write("xiangying xie chu lai.");
res.end();
}).listen(9000);
//创建请求
let req = http.request({
'hostname':"nodejs.cn",
'path':"/download/"
},res=>{
let arr = [];
//request默认以post方式访问,数据需要以on方式获取
res.on("data",buffer=>{
arr.push(buffer);
});
res.on("end",()=>{
console.log(ar