HTTP实战（nodejs）

最新推荐文章于 2022-08-18 19:40:12 发布
最新推荐文章于 2022-08-18 19:40:12 发布
阅读量328 收藏
点赞数
分类专栏： node.js 文章标签： http insomnia js nodejs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43297321/article/details/104918163
版权

目录：
在这里插入图片描述

HTTP（get）

方法 http.get(url[, options][, callback])

  • 参数：
    url < string> | < URL>
    options < Object> ，接受与 http.request() 相同的 options，且 method 始终设置为 GET。从原型继承的属性将被忽略。
    callback < Function>
  • 这个方法与 http.request() 的唯一区别是它将方法设置为 GET 并自动调用 req.end()。
  • callback 调用时只有一个参数，该参数是 http.IncomingMessage 的实例。
    IncomingMessage 对象由 http.Server 或 http.ClientRequest 创建，并分别作为第一个参数传给 ‘request’ 和 ‘response’ 事件。 它可用于访问响应状态、消息头、以及数据。
const http=require('http');

//之前自己新建的jobslist.json，用json-server开启数据模拟服务，会生成这么一个地址
let str='http://localhost:3333/jobslist';

// 或着自己添加参数，生成完整路径
// const url=require('url');//先引入url内置模块
// var params={
//     protocol:'http',
//     host:'localhost:3333',
//     pathname:'/jobslist'
// }
// let str=url.format(params);//这样str="http://localhost:3333/jobslist"

http.get(str,(response)=>{ //由于大多数请求都是没有主体的 GET 请求，因此 Node.js 提供了这个便捷的方法。
    // console.log(response);//看下面截图
    let {statusCode}=response;//解构
    // console.log("statusCode："+statusCode);//statusCode：200
    var error;
    // statusCode状态码，在浏览器的显示看下面截图
    if(statusCode!=200){
        error=new Error('数据异常');
    }

    // 验证返回的数据  内容的编码，决定浏览器用什么的形式，来读取这个文件
    let contentType=response.headers["content-type"];//浏览器里面是Content-Type，这俩不算一样
    // console.log("contentType："+contentType);//contentType：application/json; charset=utf-8
    // console.log("查看contentType内容是否正确："+/application\/json/.test(contentType));//查看contentType内容是否正确：true
    if(!/application\/json/.test(contentType)){
        error=new Error('数据内容不正确');
    }
    if(error){
        console.log(error.message);//把存在error里的信息打印出来，用Error的message属性
        response.resume();//释放内存  消费响应数据来释放内存。
        return;
    }

    // 如果没有异常，那就是能够正常执行
    var rawdata='';
    var num=0;
    // 数据搜集
    response.on('data',function(chunk){
        // data事件  管道流方式
        // 数据流返回的是数据块  多次响应
        // data 如果数据大  会多次执行  持续的过程
        rawdata+=chunk;
        // console.log(chunk);
    })
    // 数据完成
    response.on('end',function(){
    //    做解析
        // 考虑代码的健壮性 加上异常处理，避免程序直接崩掉
        try{
            // console.log(JSON.parse(rawdata));//将一个 JSON 字符串转换为对象
        }catch (err){
            console.log(err);
        }
    })
// error事件    
}).on('error',function(err){
    console.log(err,err.message);
})

console.log(response)，response是callback 调用时的参数（http.IncomingMessage 的实例），然后把statusCode解构拿出来了 let {statusCode}=response;
在这里插入图片描述 在这里插入图片描述
F12或ctrl+shift+i，点Network—>all，能够查看状态码、文本类型等信息
在这里插入图片描述
console.log(chunk) 多个数据块接收拼接，最终形成完整的数据
在这里插入图片描述

http常用 statusCode 状态码：
1**：通知   100~200   
2**：成功   200~300    200成功       288 端口号被占用
3**：重定向  300~400   302移动       304缓存
4**：客户端错误         404资源不存在
5**：服务器错误

拉钩代理例子（request）

通过nodejs的http模块实现简单的代理功能。

比如说我们打开拉勾网的网站，现在我们想要自己本地设置一个端口打开，那么怎么去做这个代理呢？
拉勾网原网址：https://m.lagou.com/listmore.json?pageNo=2&pageSize=15
现在我们用这个网址打开：http://localhost:8099/listmore.json?pageNo=2&pageSize=15

1、先用原网址打开：把这串数据的url拿过来，直接地址栏输入，就能得到这串数据。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
2、然后现在我们尝试用本地端口打开。

const https=require('https');
const http=require('http');

const baseUrl="https://m.lagou.com";

http.createServer((req,res)=>{
    let url=req.url;
    console.log("req.url:",req.url);//用户请求路径，如果不写默认为 "/"
    res.setHeader('Content-Type','application/json;charset:utf-8;');// 如果乱码 字符集有问题 content-type出了问题 那就重设一下
    res.setHeader('Access-Control-Allow-Origin','*');// 允许跨域，不过一般不设置为*，一般设置为例如 *.baidu.com，baidu.com是一级域名，*是二级域名
    https.get(baseUrl+url,function(res1){
        var rowdata='';
        res1.on('data',function(chunk){ // data 数据流事件
            rowdata+=chunk;//做数据的拼接
        })
        res1.on('end',function(){
            res.write(rowdata);
            res.end();
        })
    })
}).listen(8099,function(){
    // 8099 端口号
    console.log('lcoalhost 8099 start');
})

开启服务：
在这里插入图片描述
如果不写具体的请求参数，那么，request.url会默认为 “/”（服务端控制台查看）
在这里插入图片描述 在这里插入图片描述
现在完整路径打开，能够看到现在 req.url: /listmore.json?pageNo=2&pageSize=15；
另外，显示的这串数据其实就是服务端响应的数据res.write(rowdata)
在这里插入图片描述 在这里插入图片描述

小知识点：一级域名、二级域名
比如百度 m.baidu.com 、 fe.baidu.com， 如果配置 * .baidu.com 那么前面两个网址就能跨域访问。
baidu.com 一级域名（顶级域名） m fe * 这些位置的都是二级域名

大师兄：Noodjs 代理的实现：手动封装代理与http-proxy-middleware插件实现代理

拉钩代理例子（http-proxy-middleware）

安装：

  • npm init -y 先生成package.json文件
  • yarn add http-proxy-middleware@0.21.0 注意不要安装过新的版本，可能不稳定

现在我想配置一个代理，通过匹配 “/fetch” 来走这个代理，
http://localhost:8099/fetch/listmore.json?pageNo=2&pageSize=15 ，同样能访问原站点访问的数据；
原站点：https://m.lagou.com/listmore.json?pageNo=2&pageSize=15

const https = require('https');
const http = require('http');
const proxy = require('http-proxy-middleware');//使用第三方模块 http-proxy-middleware完成代理

http.createServer((req, res) => {
    //console.log(req.url);// "/fetch/listmore.json?pageNo=2&pageSize=15"
  if (/\/fetch/.test(req.url)) {//正则匹配url；如果请求中有"/fetch"，就走这个代理
    var params = {
      target: 'https://m.lagou.com',//需要代理服务的站点url
      changeOrigin: true,//基于名称的虚拟托管网站的选项, 设置为true, 本地就会虚拟一个服务器接收你的请求并代你发送该请求,
      pathRewrite: {
        '^/fetch': ''//在真实的请求中，不加"/fetch"，所以替换成空""
      }
    }
    var demoProxy = proxy(params);//返回一个高级函数
    return demoProxy(req, res);//把服务的req和res传进代理模块，响应代理结果给客户端
  } else {
    res.write('hello world')
    res.end();
  }
}).listen(8099, function () {
  console.log('localhost 8099 start ...')
})

能够看到用代理的站点也能访问。
在这里插入图片描述
在这里插入图片描述

http.request 请求发送、接收

中文文档

  • 两种形式：
    http.request(options[, callback])
    http.request(url[, options][, callback])
  • 参数：
    url < string> | < URL>
    options < Object>
    callback < Function>

（注意注意：咱们下来的两个例子，客户端与服务端都得开着，分两个终端来开启。）

一、post

client.js 客户端

const http=require('http');
const qs=require('querystring');

// 客户端向服务端发送数据

// 假如有这么一个用户信息
var user={name:'sky',age:20}

// 比如发送数据  到  server url://http://localhost:3000
var app=http.request({
    protocol:'http:',
    hostname:'localhost',
    port:3000,
    method:'post'
},(res)=>{
    // 接收响应数据
    var rawdata='';
    res.on('data',(chunk)=>{
        rawdata+=chunk;
    })
    res.on('end',(chunk)=>{
        console.log(rawdata);//服务端响应的数据
    })
})
// 数据发送，先转化成JSON字符串再发送
app.write(qs.stringify(user));
app.end();

server.js 服务端

const http=require('http');

// 接收数据

var serverApp=http.createServer((request,response)=>{
    var rawdata='';//预备拼接数据
    // 接收请求数据，订阅事件
    request.on('data',(chunk)=>{
        rawdata+=chunk;
    })
    request.on('end',()=>{
        console.log(rawdata);//打印接收的全部数据
        response.write('user ok');//回发响应消息
        response.end();
    })
});

serverApp.listen(3000,(err)=>{
    if(!err){
        console.log("端口3000 服务启动正常");
    }
})

服务正常开启，服务端打印接收到的数据，响应结果给客户端：
在这里插入图片描述
客户端收到服务器的响应：
在这里插入图片描述

二、get

通俗来讲，与post最大的不同是url直接携带请求参数。

client.js 客户端

const http = require('http')
const qs = require('querystring');

var user = { name: 'skyget', age: 18 }

//server url:http://localhost:3000
var app = http.request({
    protocol: 'http:',
    hostname: 'localhost',
    port: 3000,
    path: '/user?' + qs.stringify(user),//直接携带参数
    method: 'GET'
}, (res) => {
    // 接收服务端的响应数据
    var rawdata = '';
    res.on('data', (chunk) => {
        rawdata += chunk;
    })
    res.on('end', (chunk) => {
        console.log(rawdata);
    })
})
app.end();

server.js 服务端

const http = require('http');
const url = require('url');

// 接收数据

var serverApp = http.createServer((request, response) => {
    let strUrl = request.url;//请求url
    console.log(request.url);
    let query = url.parse(strUrl, true).query;//解析参数，？后面的
    console.log(query.name, query.age)
    response.write('ok:' + query.name);
    response.end();
})

serverApp.listen(3000, (err) => {
    if (!err) {
        console.log('localhost 3000 start...')
    }
})

开启服务器，接收数据，回复响应：
在这里插入图片描述
客户端接收响应信息：
在这里插入图片描述
小知识点：中间层的概念，node作为中间层，比如node把Java的多个接口整合成一个接口。

HTTP爬虫 (Request)

先说下原则，能爬的爬，不能爬的不爬，反爬的绝对不能爬。

然后，下面用nodejs来实现网页内容的抓取，也就是简单的爬虫。
比如我们爬 https://www.microsoftstore.com.cn/ 这个网站的一些开元内容。

用到一个插件cheerio，是jquery核心功能简洁实现，主要是用在服务器端需要对DOM进行操作的地方。
安装：yarn add cheerio （可以先生成package.json文件，npm init -y 以便查看安装信息）

// 爬虫

const https=require('https');
const $ =require('cheerio');//引入cheerio模块

function filterData(data){
    // console.log("data:",data);//data是链接页面的html代码
    var items=$(data).find('.listContainerInner li');//类似选择器，找到要爬数据的唯一标识
    // console.log("items.length:",items.length);//5
    var result=[];//最有希望被爬出的数据以数组返回
    $(items).each((index,item)=>{
        // console.log("item:",item);
        // console.log("$(item):",$(item));//比item多了个"0"，放在第一位
        // console.log($(item).find('.price strong').text());//能够把价格信息都拿到

        let $item=$(item);//不重新命名也行
        var param={
            url:$item.find('img').attr('data-src'),
            name:$(item).find('.name h4').text(),
            price:$item.find('.price strong').text(),
        }
        result.push(param);//把每一条拿出来数据以对象的形式每次放入数组
    })
    console.log(result);
    // return result;//以数组返回
}

var app=https.request({
    protocol:'https:',
    hostname:'www.microsoftstore.com.cn',
    port:443,//https的默认端口 
    method:'GET'
},(res)=>{
    var rawdata='';
    res.on('data',(chunk)=>{
        rawdata+=chunk;
    })
    res.on('end',()=>{
        // console.log(rawdata);//rawdata是链接页面的html代码
        filterData(rawdata);
    })
})

app.end();

我们想要把这五条数据的一些信息拿到手：
在这里插入图片描述
然后信息就拿到手啦：
在这里插入图片描述

登录、退出 小例子

// /api/login
// /api/logout

const http = require('http');
const qs = require('querystring');

http.createServer((req, res) => {
    var url = req.url;//用户请求路径
    var rawdata = '';
    console.log('method:',req.method);//查看请求方式是get还是post
    res.setHeader('Content-Type', 'application/json;charset:utf-8;');// 如果遇到字符乱码的问题，就设置文本类型
    req.on('data', (chunk) => {
        rawdata += chunk;
    })
    req.on('end', () => {
        // console.log(qs.parse(rawdata));//就相当于JSON.parse()
        console.log("url:",url);//判断是否登录或退出 /api/login
        console.log("rawdata:",rawdata);//客户端发过来的参数
        switch (url) {
            case '/api/login':
                let username = qs.parse(rawdata).username;//相当于JSON.parse()，尝试使用不同方法
                console.log(username);
                var result = {
                    code: 1,
                    message: '登陆成功',
                    username
                }
                res.end(JSON.stringify(result));//res.write()与res.end()的缩写版
                break;
            case '/api/logout':
                var result = {
                    code: 2,
                    message: '退出成功',
                }
                res.write(JSON.stringify(result));//跟JSON.stringify()功能一样
                res.end();
                break;
        }
    })
}).listen(3000, () => { // listen是绑定端口，监听端口
    console.log('正常启动 localhost 3000...');
})

介绍一款插件insomnia，用于前后端分离，可以模拟浏览器发送各种方式的请求。
登录login，客户端向服务端发送请求：
在这里插入图片描述
服务端：
在这里插入图片描述
退出logout，客户端退出登录：
在这里插入图片描述
服务端：
在这里插入图片描述

weixin_43297321
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
通过NodeJS中的http.get() 和 http.request()模块两种方法，调用中国天气api
10-09
通过 NodeJS中的http.get 和 http.request模块两种方法，调用中国天气api
小滴课堂-学习笔记：javaweb开发核心之Http请求-响应实战
dev666的博客
12-24 137
愿景："让编程不再难学，让技术与生活更加有趣" 更多架构课程请访问 xdclass.net 目录 第1集 HttpServletRequest请求对象讲解 第2集 HttpServletRequest和用户登录表单提交 第3集 HttpServletResponse响应对象讲解 干货文档 第1集 HttpServletRequest请求对象讲解 简介：讲解 HttpServletRequest 请求对象 怎样添加servlet-api源码 下载：https://tomcat.
爬虫笔记（三）——HTTP协议请求实战
小白一直白
07-16 593
如果要进行客户端与服务器端之间的消息传递，我们可以使用HTTP协议请求进行。 HTTP协议请求主要分为6种类型，各类型的主要作用如下： GET请求：GET请求会通过URL网址传递信息，可以直接在URL中写上要传递的信息，也可以由表单进行传递。如果使用表单进行传递，这表单中的信息会自动转为URL地址中的数据，通过URL地址传递。 POST请求：可以向服务器提交数据，是一种比较主流也比较安全的数据...
http基础实战
weixin_30381317的博客
12-17 63
1.需求 了解http的基础知识，能看懂chrome下网络的情况 2.前置知识 下面是tcp/ip协议的一些东西，今天就只用了解应用层的http就够了。 3.http是什么 我们在网上浏览网页，会发送一个http请求给服务器，服务端识别了这个http请求会返回一个http响应给客户端。 就是一个请求，响应的模式。 那么，http请求和http响应包含什么东西呢？ 直接实战...
nodejs项目实战教程01——http服务和URL类
qq_39055970的博客
10-29 788
nodejs项目实战教程01——http服务和URL类1.开发准备2.如何创建一个简单的nodejs应用3.如何创建一个http服务4.如何获取url中的参数4.1 URL类基础4.2 动态监测URL的变化 1.开发准备 去官网下载和安装nodejs和vscode，希望先了解nodejs基础的同学可以先看看我的《万字肝完nodejs入门教程，详解入口，建议收藏（更新中）》这篇文章 2.如何创建一个简单的nodejs应用 创建一个js文件，命名为app.js（名字无所谓，习惯上通常命名为app.js）作为no
NodeJS实战
12-08
NodeJS实战：深入理解与应用 Node.js是一个基于Chrome V8引擎的JavaScript运行环境，它以其事件驱动、非阻塞I/O模型而闻名，尤其适合用于构建高效、可伸缩的网络应用程序。本实战指南旨在帮助开发者从零基础开始，...
nodejs实战pdf+源码_nodejs_nodejs实战pdf+源码_
10-03
《Node.js实战》是一本深度探讨Node.js技术的书籍，由知名Node.js核心框架贡献者、社区活跃分子Mike Cantelon撰写。作为一名资深的培训师和演讲人，Cantelon以其丰富的经验与深入的理解，为读者提供了全面而实用的...
nodejs 实战
12-14
服务器端JavaScript？...通过学习本书，读者将深入异步编程、数据存储、输出模板、读写文件系统，掌握创建TCP/IP服务器和命令行工具等非HTTP程序的技术。本书同样非常适合熟悉Rails、Django或PHP开发的读者阅读学习。
Nodejs实战源码
11-28
Node.js实战源码是深入理解和学习Node.js技术的重要途径，它涵盖了从基础到高级的各种应用场景。Node.js是一种基于Chrome V8引擎的JavaScript运行环境，它让开发者可以用JavaScript编写服务器端程序，实现全栈开发。...
苏宁Nodejs性能优化实战
01-27
【苏宁Nodejs性能优化实战】涉及的是苏宁公司在其基于Node.js技术栈的项目中进行性能提升的实践。从2016年开始，苏宁大规模采用Node.js进行页面渲染，架构采用Nginx+Node.js+PM2的组合，随着Node.js版本从6.0+升级到...
nodejs-http2
03-13
nodejs-http2
HTTP实战中学习
weixin_42881084的博客
10-11 343
请求一个网页 命令行敲入$ curl -v -I hdcjh.xyz 意思是仅显示请求头和响应头 request HEAD / HTTP/1.1 Host: hdcjh.xyz User-Agent: curl/7.58.0 Accept: */* response HTTP/1.1 200 OK Server: nginx/1.10.3 (Ubuntu) Date: Fri, 11 Oc...
HTTP协议基础-6-HTTP请求(实战)
Anthony_tester的博客
07-17 2068
前面把HTTP 消息和HTTP请求和HTTP响应理论的知识点都学完了，很多概念记不住没关系，我们在实战里面会复习前面学习过的知识点，然后结合实战中的图片来加深对前面知识点的巩固。在实战之前，我们需要搭建一套本地环境，这套环境其实重点是后面cookies和session的学习会用到。还需要安装一个抓包工具，这里就采用fiddler这个免费的工具。 1.本地搭建XAMPP+Phpwind环境 ...
HTTP协议解析与实战
恐龙弟旺仔的博客
08-18 508
HTTP（HyperText Transfer Protocol）超文本传输协议，它是用于从服务器传输超文本到本地浏览器的一种传输协议。按照七层传输协议，HTTP位于应用层协议，在TCP协议之上。如下图所示。
章节6 http协议详情实战
liujingjie2010的专栏
11-06 233
课时42 http请求流程 目前经常使用的是HTTP1.1版本 默认是持久链接 课时43 url唯一标识符 随意找1个图片的链接地址 https://y.zdmimg.com/201712/30/5a474a47e26ee382.jpg_a100.jpg 三部分：协议http:// + ip网址 + 资源地址 课时44 http中常用的方法 1、get 服务器向客户端发送资源 2...
nodejsApi之http
weixin_34144450的博客
05-26 100
基于v6.10.3版本 1. 基本示例 var http = require('http'); var server = http.createServer((req,res)=>{ res.write('hello world'); res.write(req.constructor.name); // Incom...
Java 爬虫实战案例三之 HttpClient 详解
说文科技，做有态度的研究。
11-17 520
HttpClient项目实战一 1.代码实战 package httpClient; import org.apache.http.HttpEntity; import org.apache.http.client.methods.CloseableHttpResponse; import org.apache.http.client.methods.HttpGet; import org.ap...
node http.get
wmsjlihuan的专栏
02-19 6709
var http=require('http'); http.get("http://localhost/read.txt", function(res) { console.log("Got response: " + res.statusCode); res.on('data', function(data) { console.log("Got data: " + data)
这份被吹爆的HTTP顶级教程，从入门到核心实战，阿里技术专家都拍手叫好
文章中资料均可获取，有需要请添加yunduoa2019即可
09-24 97
HTTP是一个在计算机世界里专门在两点之间传输文字、图片、音频、视频等超文本数据的约定和规范。简单来说，如果你不懂HTTP协议，那就相当于是个只有“半桶水”的程序员。 HTTP顶级教程，涉及HTTP基本认识、HTTP请求过程、HTTP响应标头、HTTPS的出现原因、解决什么问题、总结了Session、Cookie 和Token，最后再为你整理了HTTP的实战核心问题。 认识HTTP 什么是超文本 什么是传输 什么是协议 HTTP相关组件 网络模型 OSI 模型 浏览器 Web服务器..
nodejs开发实战
最新发布
06-16
Node.js 开发实战通常涉及使用 JavaScript 语言在服务器端构建实时应用，如 web 应用、API 服务和网络爬虫等。以下是 Node.js 开发的一些关键点： 1. **环境设置**：首先需要安装 Node.js 和 npm（Node包管理器），它们提供了运行 JavaScript 代码所需的环境。 2. **Hello World**：入门项目通常是从创建一个简单的“Hello, World!”服务器开始，使用 `http` 或 `https` 模块。 3. **模块系统**：Node.js 的核心是其模块系统，你可以轻松地导入和导出模块，复用代码。 4. **事件驱动编程**：Node.js 强调事件驱动模型，适合处理大量并发请求。例如，使用 `EventEmitter` 构建事件处理器。 5. **Express框架**：Express 是常用的 Web 框架，简化了路由、中间件和错误处理等功能。 6. **WebSocket**：Node.js 配合 WebSocket 可以实现实时通信，比如聊天应用或在线游戏后端。 7. **异步编程**：Node.js 使用回调函数、Promise 或 async/await 来处理异步操作，避免回调地狱。 8. **数据库集成**：连接和操作数据库，如 MongoDB、MySQL 或 PostgreSQL，使用相应的数据库驱动。 9. **部署**：了解如何将 Node.js 应用部署到云平台（如 AWS、Azure 或 Heroku）或本地服务器。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值