HTTP代理原理及nodejs实现

已于 2023-11-19 19:16:04 修改
阅读量516 收藏 2
点赞数
文章标签： http 网络协议 网络
于 2023-11-19 19:15:09 首次发布
原文链接：https://juejin.cn/post/7088964150805659684
版权

HTTP代理原理及实现

HTTP 代理存在两种形式:

  1. 普通代理
  2. 隧道代理

普通代理

HTTP 客户端向代理发送请求报文，代理服务器需要正确地处理请求和连接（例如正确处理 Connection: keep-alive），同时向服务器发送请求，并将收到的响应转发给客户端。

web_proxy.png

隧道代理

参考链接:

imququ.com/post/web-pr…

node中使用http.request发起请求

发起get请求

 

js
 

复制代码
 

const https = require('https'); const url = require('url') // 也可以直接传入url字符串, 但是在内部也会被url.parse()解析 const options = url.parse('https://nodejs.org/'); // 访问https协议的网站用https模块 const req = https.request(options, (res) => { ... }); req.end(); 
 

 
 
注意，上面代码中，req.end() 必须被调用，即使没有在请求体内写入任何数据，也必须调用。因为这表示已经完成HTTP请求
 

 

否则导致超时, 报Error: socket hang up错误
 

也可以使用https.get, 它的内部也是使用https.request, 源码如下:
 

 

js
 

复制代码
 

function get(input, options, cb) { const req = request(input, options, cb); req.end(); return req; } 
 

发起post请求
 

 

js
 

复制代码
 

const postData = querystring.stringify({ 'msg': 'Hello World!' }); const options = { hostname: 'www.google.com', port: 80, path: '/upload', method: 'POST', headers: { 'Content-Type': 'application/x-www-form-urlencoded', 'Content-Length': Buffer.byteLength(postData) } }; const req = http.request(options, (res) => { console.log(`STATUS: ${res.statusCode}`); console.log(`HEADERS: ${JSON.stringify(res.headers)}`); res.setEncoding('utf8'); res.on('data', (chunk) => { console.log(`BODY: ${chunk}`); }); res.on('end', () => { console.log('No more data in response.'); }); }); req.on('error', (e) => { console.error(`problem with request: ${e.message}`); }); // write data to request body req.write(postData); req.end(); 
 

发起请求时需要注意的几个header
 

  • 发送 'Connection: keep-alive' 会通知 Node.js 与服务器的连接应该持续到下一个请求。
  • 发送 'Content-Length' 请求头会禁用默认的分块编码
  • 发送 'Expect' 请求头会立即发送请求头。
  • 发送授权请求头会覆盖auth参数
 

请求的事件触发顺序
 

在成功的请求中，会按以下顺序触发以下事件：
 

  • socket 事件
  • response 事件 
  
    • res 对象上任意次数的 data 事件（如果响应主体为空，则根本不会触发 - data 事件，例如在大多数重定向中）
    • res 对象上的 end 事件
  • close 事件
 

如果出现连接错误，则触发以下事件：
 

  • socket 事件
  • error 事件
  • close 事件
 

如果在连接成功之前调用 req.abort()，则按以下顺序触发以下事件：
 

  • socket 事件
  • (在这里调用 req.abort())
  • abort 事件
  • error 事件并带上错误信息 'Error: socket hang up' 和错误码 'ECONNRESET'
  • close 事件
 

如果在响应被接收之后调用 req.abort()，则按以下顺序触发以下事件：
 

  • socket 事件
  • response 事件
  • res 对象上任意次数的 data 事件
  • (在这里调用 req.abort())
  • abort 事件
  • res 对象上的 aborted 事件
  • close 事件
  • res 对象上的 end 事件
  • res 对象上的 close 事件
 

 
 
http.request(options, callback)中的callback就是当response 事件触发时运行. socket 事件: 将套接字分配给此请求后触发。
 

 

HTTP普通代理服务器nodejs实现
 

 

javascript
 

复制代码
 

var http = require('http'); var net = require('net'); var url = require('url'); function request(cIncomeReq, cRes) { var u = url.parse(cIncomeReq.url); var options = { hostname : u.hostname, port : u.port || 80, path : u.path, method : cIncomeReq.method, headers : cIncomeReq.headers }; var pReq = http.request(options, function(pIncomeRes) { cRes.writeHead(pIncomeRes.statusCode, pIncomeRes.headers); pIncomeRes.pipe(cRes); }).on('error', function(e) { cRes.end(); }); cIncomeReq.pipe(pReq); } http.createServer().on('request', request).listen(8888, '0.0.0.0'); 
 

这里需要注意的是管道的写法, http.IncomingMessage, http.ClientRequest, http.ServerResponse都是继承自Stream, 它们通常出现在如下代码中:
 

请求:
 

 

javascript
 

复制代码
 

ClientRequest = http.request(options, (IncomingMessageRes) => {}); ClientRequest.send(data); 
 

响应:
 

 

javascript
 

复制代码
 

http.createServer().on('request', (IncomingMessageReq, ServerResponse) => {}) 
 

 

20190902093020.png
 

ClientRequest, ServerResponse可以看作是WriteStream, 主动发送数据, IncomingMessage则是ReadStream, 被动接收数据.
 

所以cIncomeReq.pipe(pReq)可以理解为客户端发送的代理服务器的请求数据(cIncomeReq)通过(pReq)被转发到目标服务器.
 

pIncomeRes.pipe(cRes)可以理解为目标服务器响应的数据(pIncomeRes)通过(cRes)被转发会客户端.
 

以上代码运行后，会在本地 8888 端口开启 HTTP 代理服务，这个服务从请求报文中解析出请求 URL 和其他必要参数，新建到服务端的请求，并把代理收到的请求转发给新建的请求，最后再把服务端响应返回给浏览器。修改浏览器的 HTTP 代理(我用的是ProxySwitchy来修改的代理)为 127.0.0.1:8888 后再访问 HTTP 网站，代理可以正常工作。
 

但是，使用我们这个代理服务后，HTTPS 网站完全无法访问，这是为什么呢？
 

HTTP隧道代理服务器nodejs实现
 

 

js
 

复制代码
 

var http = require('http'); var net = require('net'); var url = require('url'); function connect(cReq, cSock) { var u = url.parse('http://' + cReq.url); var pSock = net.connect(u.port, u.hostname, function() { cSock.write('HTTP/1.1 200 Connection Established\r\n\r\n'); pSock.pipe(cSock); }).on('error', function(e) { cSock.end(); }); cSock.pipe(pSock); } http.createServer().on('connect', connect).listen(8888, '0.0.0.0'); 
 

https-proxy-agent源码解读
 

或者我们可以直接使用https-proxy-agent
 

https-proxy-agent的使用
 

安装:
 

 

shell
 

复制代码
 

yarn add https-proxy-agent 
 

使用:
 

 

js
 

复制代码
 

const https = require('https'); const HttpsProxyAgent = require('https-proxy-agent'); // 代理服务器地址, 代理协议可以是http也可以https const proxyEndpoint = 'https://115.204.25.88:4217'; const agent = new HttpsProxyAgent(proxyEndpoint); const options = { agent, }; // 使用http.get或者https.get都可以, 取决访问网址协议是http还是https const req = https.get(url, options, (res) => { res.pipe(process.stdout); }); req.end(); 
 

源码解读
 

大体结构
 

 

js
 

复制代码
 

var Agent = require('agent-base'); var inherits = require('util').inherits; function HttpsProxyAgent(opts) { ... }; inherits(HttpsProxyAgent, Agent); HttpsProxyAgent.prototype.callback = function connect(req, opts, fn) { ... }; 
 

HttpsProxyAgent继承自agent-base, agent-base作用是创建http.Agent实例, 这里我们介绍它其中一种用法:
 

自定义它的callback属性, 下面是callback函数签名:
 

 

js
 

复制代码
 

callback(http.ClientRequest req, Object options, Function cb) → undefined 
 

req可以获取headers和path等和请求相关的信息. options包含了在调用http.request()/https.request()时所传入的参数, options是已经格式化了的, 可以直接作为参数传入net.connect()/tls.connect(). 在这个函数中你需要创建一个socket, 然后传递给cb, HTTP请求将继续进行.
 

connect
 

https-proxy-agent使用的隧道代理的方式, 所以它的主要流程是:
 

  1. 判断代理服务器的地址是否为https协议, 使用net或者tls来创建一个socket.
  2. 使用创建的socket向代理服务器发起请求:
 

 

sql
 

复制代码
 

CONNECT 实际请求地址 HTTP/1.1 
 

  1. socket监听响应, 请求返回状态码为200, 则代表链接建立, 将socket传递给cb, 交给http|https进行后续的请求
 

发起请求
 

一个请求示例:
 

 

makefile
 

复制代码
 

CONNECT www.arrow.com:443 HTTP/1.1 Host: www.arrow.com Connection: close 
 

 

js
 

复制代码
 

var hostname = opts.host + ':' + opts.port; var msg = 'CONNECT ' + hostname + ' HTTP/1.1\r\n'; var headers = Object.assign({}, proxy.headers); // 如果代理服务器需要认证, 需要加上认证header if (proxy.auth) { headers['Proxy-Authorization'] = 'Basic ' + Buffer.from(proxy.auth).toString('base64'); } // the Host header should only include the port // number when it is a non-standard port var host = opts.host; if (!isDefaultPort(opts.port, opts.secureEndpoint)) { host += ':' + opts.port; } headers['Host'] = host; headers['Connection'] = 'close'; Object.keys(headers).forEach(function(name) { msg += name + ': ' + headers[name] + '\r\n'; }); socket.write(msg + '\r\n'); 
 

读取数据
 

 

js
 

复制代码
 

if (socket.read) { read(); } else { socket.once('data', ondata); } function ondata(b) { buffers.push(b); buffersLength += b.length; var buffered = Buffer.concat(buffers, buffersLength); var str = buffered.toString('ascii'); if (!~str.indexOf('\r\n\r\n')) { // keep buffering debug('have not received end of HTTP headers yet...'); if (socket.read) { read(); } else { socket.once('data', ondata); } return; } ... } 
 

关于socket.read我查询了node10.5.3的API是没有这个接口的, socket.read可能是为了兼容以前的版本, 为了方便理解上面的代码可以简化成:
 

 

js
 

复制代码
 

socket.once('data', ondata); var buffers = []; var buffersLength = 0; function ondata(b) { buffers.push(b); buffersLength += b.length; var buffered = Buffer.concat(buffers, buffersLength); var str = buffered.toString('ascii'); // ~表示取反码, -1的反码为0, !~-1 === true, 其他情况!~i === false. // !~str.indexOf('\r\n\r\n') 等价于 str.indexOf('\r\n\r\n') === -1 // 也就是如果遇到`\r\n\r\n`代表数据接收完成 if (!~str.indexOf('\r\n\r\n')) { // keep buffering debug('have not received end of HTTP headers yet...'); socket.once('data', ondata); return; } ... } 
 

返回socket给cb
 

这个步骤是在与代理服务器建立隧道成功后, 需要返回一个socket给cb, 让http|https继续处理请求.
 

 

js
 

复制代码
 

if (200 == statusCode) { // 200 Connected status code! var sock = socket; // nullify the buffered data since we won't be needing it buffers = buffered = null; if (opts.secureEndpoint) { // since the proxy is connecting to an SSL server, we have // to upgrade this socket connection to an SSL connection debug( 'upgrading proxy-connected socket to TLS connection: %o', opts.host ); // 这里当是https协议访问目标网站时, 需要升级此套接字 // 目前还没有搞明白为什么要升级, 已经以下升级代码的含义 opts.socket = socket; opts.servername = opts.servername || opts.host; opts.host = null; opts.hostname = null; opts.port = null; sock = tls.connect(opts); } cleanup(); fn(null, sock); }
 

原文：HTTP代理原理及nodejs实现 - 掘金
 


                

        

        

    




    

      

        

            

              
                
                  thlzjfefe
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    2
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
node-https-proxy-agent, HTTPS端点的HTTP代理 `http.Agent` 实现.zip

				
			

			

				

					10-10
				

			

		

		

			
				
node-https-proxy-agent, HTTPS端点的HTTP代理 `http.Agent` 实现 https-proxy-agent HTTPS的HTTP代理 http.Agent 实现 这个模块为连接到指定的HTTP或者HTTPS代理服务器提供了 http.Agent 实现，并且可以与内置的https 模块一起使用。具体地

			
		

	



                

              
                



	

		

			

				
					
Node 环境下 axios 的 proxy 配置—— https-proxy-agent

					
热门推荐

				
			

			

				

					AnitaSun的博客
				

				

					11-29
					
					1万+
					
				

			

		

		

			
				
app.js   端口号 3000       node app.jsvar express = require('express');
const path = require('path');
const axios = require("axios");
const HttpsProxyAgent = require("https-proxy-agent");
var app = express();

app.set('port', 3000);

app.get('/', function(re.

			
		

	



                


  
              

                


	

		

			

				
					
node使用http-proxy-middleware做代理，解决跨域问题

					
最新发布

				
			

			

				

					徐同保的专栏
				

				

					06-12
					
					786
					
				

			

		

		

			
				
node使用http-proxy-middleware做代理，解决跨域问题

			
		

	





	

		

			

				
					
笔记记录：NodeJS使用代理发送请求代码

				
			

			

				

					weixin_45307278的博客
				

				

					09-06
					
					836
					
				

			

		

		

			
				
【代码】笔记记录：NodeJS使用代理发送请求代码。

			
		

	



		

			
		



	

		

			

				
					
nodejs 为HTTPS添加proxy

				
			

			

				

					yuan882696yan的专栏
				

				

					11-30
					
					9646
					
				

			

		

		

			
				
如果是在内网用nodejs的http或https去访问外部网站，需要添加proxy， 
首先要用npm安装https-proxy-agent，然后执行以下代码代码块var HttpsProxyAgent = require('https-proxy-agent')
var path = req.query.path;
var proxy = 'http://user:pass@xxx.com:por

			
		

	





	

		

			

				
					
爬取免费代理IP并测试

				
			

			

				

					qq1261275789的博客
				

				

					12-19
					
					1636
					
				

			

		

		

			
				
爬取代理IP并测试
写在开头：总共爬了三个代理ip的网站，前两个网站经过测试，ip并不能访问我真正想爬的网站
一. 三一代理
这是我爬的第一个代理ip网站，爬的都是https的ip

导入库

from lxml import etree
import requests
from bs4 import BeautifulSoup
import os
import re
import time
import random


定义的一些全局变量
我不想定义在函数内，而且又是不会变的东西，所以就写在函数外面，写

			
		

	





	

		

			

				
					
js代码-nodejs实现http代理

				
			

			

				

					07-16
				

			

		

		

			
				
本主题聚焦于使用Node.js实现HTTP代理，这在开发过程中非常有用，尤其是在跨域请求、测试API或者数据转发等方面。HTTP代理允许一个客户端通过它来发送HTTP请求，从而绕过某些网络限制或获取额外的功能。  首先，我们...

			
		

	





	

		

			

				
					
用Nodejs实现在终端中炒股的实现

				
			

			

				

					12-16
				

			

		

		

			
				
在本文中，我们将深入探讨如何使用Node.js在终端...如果你对此感兴趣，可以进一步研究源代码，了解其工作原理，并根据需要进行扩展和优化。同时，也可以学习如何自定义终端UI，或者将此概念应用于其他终端应用的开发。

			
		

	





	

		

			

				
					
nodejs实现OAuth2.0授权服务认证

				
			

			

				

					10-18
				

			

		

		

			
				
Node.js作为一款强大的服务器端JavaScript运行环境，非常适合用来实现OAuth2.0授权服务认证。  OAuth2.0的核心概念包括： ...通过理解OAuth2.0的工作原理和各种授权模式，开发者可以更好地设计和实现自己的授权服务。

			
		

	





	

		

			

				
					
nodejs:nodejs的实现

				
			

			

				

					07-23
				

			

		

		

			
				
这个"nodejs:nodejs的实现"标题暗示我们将深入探讨Node.js的基础、工作原理以及如何利用它来构建实际应用。  JavaScript，作为前端开发的主要语言，通常用于处理浏览器中的用户交互。然而，Node.js的出现打破了这种...

			
		

	





	

		

			

				
					
【JavaScript源代码】Nodejs实现内网穿透服务.docx

				
			

			

				

					12-29
				

			

		

		

			
				
【JavaScript源代码】Nodejs实现内网穿透服务  内网穿透是一种技术，使得在局域网内部运行的应用或服务能够被公网用户访问。这通常涉及到一个公网服务器（proxyServe）作为中间桥梁，转发公网客户端（client）的请求...

			
		

	





	

		

			

				
					
【nodejs代理服务器一】nodejs http-proxy 开发反向代理服务器，防火墙，过滤常见的web渗透

				
			

			

				

					程序员石磊
				

				

					06-07
					
					2116
					
				

			

		

		

			
				
事出有因
最近web系统引来了黑客的攻击，经常被扫描，各种漏洞尝试。
分析攻击日志，有几种常见的攻击手段：

上传webshell
远程执行命令漏洞
sql注入
xxs 攻击
试探各种开源框架爆出来的漏洞

分析攻击信息的特点
说白了就是采用web渗透技术，利用http请求，黑客想尽办法，在http header ,body,等部分植入非法的命令，非法字符常见的有：exe,cmd,powershe...

			
		

	





	

		

			

				
					
nodejs实现http与https服务；同时处理proxy代理的解决方案

				
			

			

				

					阿赛
				

				

					08-17
					
					2252
					
				

			

		

		

			
				
【代码】nodejs实现http与https服务；同时处理proxy代理的解决方案。

			
		

	





	

		

			

				
					
nodeJs+http-proxy  搭建代理服务器

				
			

			

				

					羽下佳人的博客
				

				

					02-18
					
					1万+
					
				

			

		

		

			
				
node本地安装位置： C:\Program Files (x86)\nodejs

相关网址：https://www.cnblogs.com/woodk/p/5817755.html

 

代理服务器搭建

cmd：


cd   项目目录

cnpm install http-proxy --save-dev

npm init    // 创建项目



node proxy.js   /...

			
		

	





	

		

			

				
					
nodejs 创建代理服务器的方式

				
			

			

				

					thlzjfefe的博客
				

				

					07-25
					
					1207
					
				

			

		

		

			
				
模块创建了一个代理服务器。当收到客户端的请求时，代理服务器会创建一个向目标服务器的请求，并将原始请求的数据传递给目标服务器的请求。这段代码创建了一个简单的代理服务器，监听在本地的 3000 端口，当有请求到达时，会将请求转发到。你可以根据自己的需求修改目标服务器的地址和代理服务器监听的端口号。方法指定服务器监听的端口号，并在回调函数中打印出服务器已经启动的提示信息。这个代理对象可以用来处理传入的 HTTP 请求，并将其转发到目标服务器。是一个选项对象，指定了目标服务器的地址。在上面的示例代码中，我们使用。

			
		

	





	

		

			

				
					
JavaScript实现代理服务器（附完整源码）

				
			

			

				

					希望我的博客，能帮上你解决学习中工作中所遇到的问题
				

				

					10-23
					
					177
					
				

			

		

		

			
				
JavaScript实现代理服务器（附完整源码）

			
		

	





	

		

			

				
					
推荐项目：Node.js HTTP代理服务器

				
			

			

				

					gitblog_00009的博客
				

				

					03-09
					
					390
					
				

			

		

		

			
				
推荐项目：Node.js HTTP代理服务器
GitCode项目地址
如果你在开发过程中需要处理HTTP请求转发或者代理的问题，那么node-http-proxy绝对是一个值得你尝试的项目。
什么是node-http-proxy？
node-http-proxy是一个基于Node.js的高性能HTTP代理服务器模块。它可以让你轻松地设置一个HTTP代理服务器，并支持WebSocket代理、HTTP...

			
		

	





	

		

			

				
					
 nodejs之http-proxy几点常见问题

				
			

			

				

					weixin_34152820的博客
				

				

					08-13
					
					1118
					
				

			

		

		

			
				
http-proxy
http-proxy是一个nodejs的http代理库，已经被webpack-dev-server集成进来，做代理使用。原因是在前后端分离大行其道的今天，我们如果需要在本地调后端api接口，不配置hostname的话，必然是一个跨域的请求。因为浏览器的跨域安全限制，调取是不通的，所以本地代理就成了一个本地开发环境的必...

			
		

	





	

		

			

				
					
Node.js- 2.请求响应原理及HTTP协议

				
			

			

				

					qq_46204464的博客
				

				

					10-29
					
					322
					
				

			

		

		

			
				
服务器概念 简述

网站应用程序主要分为两大部分：客户端和服务器端。


客户端：在浏览器中运行的部分，就是用户看到并与之交互的界面程序。使用HTML、CSS、JavaScript构建。
服务器端：在服务器中运行的部分，负责存储数据和处理应用逻辑。


Node网站服务器

能够提供网站访问服务的机器就是网站服务器，它能够接收客户端的请求，能够对请求做出响应。


IP地址
互联网中设备的唯一标识。
IP是Internet Protocol Address的简写，代表互联网协议地址.

域名

由于IP地址

			
		

	





	

		

			

				
					
nodejs实现jsonp

				
			

			

				

					10-17
				

			

		

		

			
				
好的，下面是 nodejs 实现 jsonp 的代码：

```javascript
const http = require('http');
const url = require('url');

http.createServer((req, res) => {
  const query = url.parse(req.url, true).query;
  const callback = query.callback;
  const data = { name: '张三', age: 18 };
  const jsonpData = `${callback}(${JSON.stringify(data)})`;

  res.writeHead(200, { 'Content-Type': 'application/javascript' });
  res.end(jsonpData);
}).listen(3000, () => {
  console.log('Server is running at http://localhost:3000');
});
```

这段代码实现了一个简单的 jsonp 接口，当请求地址为 `http://localhost:3000/?callback=foo` 时，返回的数据为 `foo({"name":"张三","age":18})`。



			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值