HTTP编程

最新推荐文章于 2024-07-24 20:18:12 发布
最新推荐文章于 2024-07-24 20:18:12 发布
阅读量251 收藏
点赞数 7
文章标签： http 网络协议 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46502752/article/details/125857921
版权

http协议概述

什么是HTTP?HTTP就是目前使用最广泛的Web应用程序使用的基础协议，例如，浏览器访问网站，手机APP访问后台服务器，都是通过HTTP协议实现的。HTTP是HyperText Transfer Protocol的缩写，翻译为超文本传输协议。它是基于TCP协议之上的一种请求-响应协议。

                我们来看一下浏览器请求访问某个网站发送的HTTP请求-响应。当浏览器希望访问某个网站时，浏览器和网站服务器之间先建立TCP连接，且服务器总是使用80端口和加密端口443，然后，浏览器向服务器发送一个HTTP请求，服务器收到后，返回一个HTTP响应，并且在响应中包含了HTML的网页内容，这样，浏览器解析HTML后就可以给用户显示网页了。一个完整的HTTP请求-响应如下：

            GET / HTTP/1.1
            Host: www.sina.com.cn
            User-Agent: Mozilla/5 MSIE
            Accept: */*                ┌────────┐
┌─────────┐ Accept-Language: zh-CN,en  │░░░░░░░░│
│O ░░░░░░░│───────────────────────────>├────────┤
├─────────┤<───────────────────────────│░░░░░░░░│
│         │ HTTP/1.1 200 OK            ├────────┤
│         │ Content-Type: text/html    │░░░░░░░░│
└─────────┘ Content-Length: 133251     └────────┘
  Browser   <!DOCTYPE html>              Server
            <html><body>
            <h1>Hello</h1>
            ...

HTTP请求的格式是固定的，他由HTTP Header和HTTP Body两部分构成。第一行总是请求方法 路径HTTP版本：例如，GET/HTTP/1.1 表示使用GET请求，路径是/,版本是HTTP/1.1。

后续的每一行都是固定的Header:Value格式，我们称为HTTP Header,服务器依靠某一些特定的Header来识别客户端请求，例如:

Host:表示请求的域名，因为一台服务器上可能有多个网站，因此有必要依靠Host来识别请求是发给哪个网站的；

User-Agent:表示客户端自身标识信息，不同的浏览器有不同的标识，服务器依靠User-Agent判断客户端类型是IE还是Chrome,是Firefox还是一个Python爬虫；

Accept:表示客户端能处理的HTTP响应格式，*/*表示任意格式，text/*表示任意文本，image/png表示PNG格式的图片。

Accept-Language:表示客户端接受的语言，多种语言按优先级排序，服务器依靠该字段给用户返回特定语言的网页版本。

如果是GET请求，那么该HTTP请求只有HTTP Header,没有HTTP Body.如果是POST请求，那么该HTTP请求带有Body。

POST /login HTTP/1.1
Host: www.example.com
Content-Type: application/x-www-form-urlencoded
Content-Length: 30

username=hello&password=123456

POST请求通常要设置Content-Type表示Body的类型,Content-Length表示Body的长度，这样服务器就可以根据请求的Header和Body做出正确的响应.

POST /login HTTP/1.1
Content-Type: application/json
Content-Length:38

{"username":"bob","passwork":"123456"}

 HTTP响应也是由Header和Body两部分组成，一个典型的HTTP响应如下:

POST /1.1 200 OK
Content-Type:text/html
Content-Length:133251

<!DOCTYPE html>
<html><body>
<h1>hello</h1>
...

响应的第一行总是HTTP版本 响应代码 相应说明：例如：HTTP/1.1 200 ok表示版本是HTTP/1.1,响应代码是200，相应说明是OK.客户端只依赖响应代码判断HTTP响应是否成功。HTTP有固定的响应代码：

1xx:表示一个提示性响应，例如101表示将切换协议，常见于WebSocket连接;

2xx:表示一个成功的响应，例如200表示成功，206表示只发送了部分内容；

3xx:表示一个重定向的响应，例如301表示永久重定向，303表示客户端应该按指定路径重新发送请求;

404:表示一个因为客户端问题导致的错误响应，例如400表示因为Content-Type等各种原因导致的无效请求，404表示指定的路径不存在；

5xx:表示一个因为服务器问题导致的错误响应，例如500表示服务器内部故障，503表示服务器暂时无法响应。

        对于最早期的HTTP/1.0协议，每次发送一个HTTP请求，客户端都需要先创建一个新的TCP连接，然后，收到服务器响应后，关闭这个TCP连接。由于建立TCP连接就比较耗时，因此，为了提高效率，HTTP/1.1协议允许在一个TCP连接中反复发送-响应，这样就能大大提高效率。

                       ┌─────────┐
┌─────────┐            │░░░░░░░░░│
│O ░░░░░░░│            ├─────────┤
├─────────┤            │░░░░░░░░░│
│         │            ├─────────┤
│         │            │░░░░░░░░░│
└─────────┘            └─────────┘
     │      request 1       │
     │─────────────────────>│
     │      response 1      │
     │<─────────────────────│
     │      request 2       │
     │─────────────────────>│
     │      response 2      │
     │<─────────────────────│
     │      request 3       │
     │─────────────────────>│
     │      response 3      │
     │<─────────────────────│
     ▼                      ▼

因为HTTP协议是一个请求-响应协议，客户端在发送一个HTTP请求后，必须等待服务器响应后，才能发送下一个请求，这样一来，如果某个响应太慢，它就会堵住后面的请求。所以，为了进一步提速，HTTP/2.0允许客户端在没有收到响应的时候，发送多个HTTP请求，服务器返回响应的时候，不一定按顺序返回，只要双方能识别出哪个响应对应哪个请求，就可以做到并行发送和接收。

                       ┌─────────┐
┌─────────┐            │░░░░░░░░░│
│O ░░░░░░░│            ├─────────┤
├─────────┤            │░░░░░░░░░│
│         │            ├─────────┤
│         │            │░░░░░░░░░│
└─────────┘            └─────────┘
     │      request 1       │
     │─────────────────────>│
     │      request 2       │
     │─────────────────────>│
     │      response 1      │
     │<─────────────────────│
     │      request 3       │
     │─────────────────────>│
     │      response 3      │
     │<─────────────────────│
     │      response 2      │
     │<─────────────────────│
     ▼                      ▼

案例：根据服务器使用TCP连接处理客户端的HTTP请求

try(ServerSocket server=new ServerSocket(8080)){
        while(true){
            //获取客户浏览器的连接
            Socket borwerClent=server.accept();
            //读取客户端的请求(request)
            BufferedReader reader=new BufferedReader(new InputStreamReader(browserClient.getInputStream()));
        String line=null;
         while((line=reader.readLine())!=null){
            System.out.println(line);
}catch(Exception e) {
				e.printStackTrace();
			}

模拟服务器的响应(response)

BufferedWriter writer=new BufferedWriter(
        new OutputStreamWriter(
                browserClient.getOutputStream()));){
        writer.write("HTTP/1.1 200 OK");
        writer.newLine();
        writer.write(UUID.randomUUID().toString());
        }
}

爬虫

爬取网页某一张图片

try {
			URL imageUrl=new URL("https://img9.doubanio.com/view/photo/l/public/p2580910036.webp");
			HttpURLConnection connection=(HttpURLConnection)imageUrl.openConnection();
			connection.setRequestMethod("GET");
			connection.setRequestProperty("user-agent"," Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36 SE 2.X MetaSr 1.0");
			try (BufferedInputStream bis=new BufferedInputStream(connection.getInputStream());
				BufferedOutputStream bos=new BufferedOutputStream(new FileOutputStream("c:\\test\\img\\doubanjiang\\"+System.currentTimeMillis()+".webp"));){
				
				byte[] buff=new byte[1024];
				int len=-1;
				while((len=bis.read(buff))!=-1) {
					bos.write(buff,0,len);
				}
			} catch (IOException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
		} catch (MalformedURLException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}

 爬取一张网页内所有图片

try {
			URL imageUrl=new URL("https://movie.douban.com/");
			HttpURLConnection connection=(HttpURLConnection)imageUrl.openConnection();
			connection.setRequestMethod("GET");
			connection.setRequestProperty("User-Agent"," Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36 SE 2.X MetaSr 1.0");
			try(BufferedReader reader=new BufferedReader(new InputStreamReader(connection.getInputStream(),StandardCharsets.UTF_8));){
				
			
			String line=null;
			while((line=reader.readLine())!=null) {
				line=line.trim();
				//使用jsoup解析html
				//JSOUP类的作用进行原始解析
				//Document类：网页文档(包含解析到的所有标签)
				//Elements类：若干元素Element形成的集合(继承自ArrayList)
				//Element类:某一个HTML元素
				//提取图片的路径src,电影名称alt
				String src="",alt="";
				Document doc= Jsoup.parse(line);
				Element imgElement=doc.getElementsByTag("img").first();
				src=imgElement.attr("src");
				alt=imgElement.attr("alt");
				
//				if((line.startsWith("<img")&&line.contains("https://img")&&line.contains(".jpg"))){
//					
//				int beginIndex=line.indexOf("https://img");
//				int endIndex=line.indexOf(".jpg")+4;
//				String src=line.substring(beginIndex, endIndex);
//				beginIndex=line.indexOf("alt")+5;
//				endIndex=line.indexOf("\"",beginIndex);
//				String alt=line.substring(beginIndex,endIndex);
//				System.out.println(src);
//				System.out.println(alt);
				URL imageUrlsrc=new URL(src);
				HttpURLConnection imageUrlConnection=(HttpURLConnection)imageUrlsrc.openConnection();
				try(BufferedInputStream in=new BufferedInputStream(imageUrlConnection.getInputStream());
				BufferedOutputStream out=new BufferedOutputStream(new FileOutputStream("c:\\test\\img\\doubanjiang\\"+alt+".jpg"));){
					byte[] buff=new byte[1024];
					int len=-1;
					while((len=in.read(buff))!=-1) {
						out.write(buff,0,len);
					}
				}catch (Exception e) {
					// TODO: handle exception
				}
				}
			}}catch (Exception e) {
				// TODO: handle exception
			}}
		
//		} catch (MalformedURLException e) {
//			// TODO Auto-generated catch block
//			e.printStackTrace();

 

掉头发的胡程序员
关注
  • 7
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
网络编程—HTTP
Bing_bing_bing_的博客
11-08 432
4.4 HTTP编程 4.4.1 UDP和TCP的区别 UDP是一种数据报模式的协议，TCP是一种流模式的协议。 UDP的发送端调用了几次sendto，接收端必须用相同次数的recvfrom读取数据。因为UDP是基于报文的，每次只能读取一个报文，报文之间不会合并；若接收缓冲区小于报文长度，则多余部分会被丢弃。 TCP的发送端调用发送(send)100字节的数据，但是接收缓冲区只有10字节，...
java爬虫(jsoup)爬取斗图吧网站表情包
m0_56919521的博客
09-09 411
java爬虫(jsoup)爬取斗图吧网站表情包 import java.util.*; import org.jsoup.*; import org.jsoup.nodes.*; import java.io.*; import org.jsoup.select.*; public class EmotionPackage{ public static void main(String[] args)throws Exception{ downLoad(1); } static void dow
利用useagent判断不同平台展示不同内容
Sam.LIU的博客
09-09 1437
因为存在各个不同的PC端，也因此就有在各个平台上不同的浏览器。也自然而然地会有诸如在不同的平台或者浏览器上为用户展示不同内容的需求。 说到浏览器，我们会很自然地想到BOM中navigator对象，其中有个useAgent属性,是一个只读的字符串，声明了浏览器用于 HTTP 请求的用户代理头的值。 以下是我对useAgent的字符串内容的分析 useAgent由appCodeName(开头部分...
基于HTTP请求头字段 User-Agent用户环境 开发多端应用
想好了就去做吧 即便失败了 至少这条路上留下了你的脚印
06-02 839
User-Agent是HTTP请求头的一个字段，主要用于向服务器提供客户端的浏览器类型及版本、操作系统及版本、浏览器内核等信息。开发者可以根据系统环境开发不同排版的网站，给予用户更好的体验。
爬虫进行request请求时User-Agent怎样写
BADAO_LIUMANG_QIZHI的博客
02-15 2317
场景 在写爬虫进行request请求时，如果不能正常请求就要添加请求头。 常用的是修改User-Agent来伪装浏览器。 我们除了复制之外，这里可以参照一个库叫fake-useragent。 网址： https://pypi.org/project/fake-useragent/ 安装 pip install fake-useragent 使用 官方示例： from fak...
nginx lua 小项目：根据 user_agent 显示不同的页面，附带和 php 性能的对比
weixin_34138139的博客
09-19 356
怎么快速学习一门新的语言呢？如果你已经熟练掌握了一门语言，那么其他语言都是想通的。一个小小的需求，可能会遇到很多问题，但是搜索相关的关键字，就能快速实现出来，完成一个小目标，事半功倍。死记硬背手册，太枯燥了，反正我是看不下去，不如直接来个小项目。 一个小需求 pc、mobile 一个地址有两套页面，需要在后端根据浏览器的 user_agent 来显示不同...
[WCFREST]WebHTTP编程模型——WebHttpBinding
03-23
在WebHTTP编程模型中，我们采用基于WebHttpBinding绑定的终结点。绑定是一组相关绑定元素的有序组合，绑定的特性与能力决定于它包含的绑定元素，在这里我们通过 　不论是我们采用SOAP还是REST架构风格，运行时框架...
Java Http编程简单示例
10-12
Java Http编程是Java开发中的一项基础技能，尤其是在构建Web应用和服务时不可或缺。HTTP（超文本传输协议）是互联网上应用最广泛的一种网络协议，而Java提供了多种方式来实现HTTP通信，其中最常见的是使用`...
第9章_HTTP编程：Web服务器的开发
04-20
http编程方向，关于web服务器开发的事宜
网络编程3HTTP编程 网络编程3HTTP编程
04-28
本文将深入探讨HTTP编程的基本原理、工作流程以及在网络编程中如何应用。 HTTP是一种无状态、基于文本的协议，用于在Web服务器和客户端之间传输HTML文档和其他类型的数据。它的主要特点包括请求-响应模型、统一资源...
java网络编程http通信
06-14
通过java网络编程深入理解http非阻塞通信和阻塞通信，以及http协议在网络中的应用 源码包每一行都有注释，在代码里面每一个类都有详细的注释来解释这个类的功能这个方法的功能，调用哪一个类的哪一个功能等等。 压缩...
HTTP 协议浅析
yimeixiaolangzai的博客
07-23 780
HTTP 是一种无状态的、基于请求和响应模式的应用层协议。无状态意味着每次请求都是独立的，不依赖于前后的请求。客户端（通常是浏览器）发起请求，服务器处理请求并返回响应。
https和http区别
qq_39495959的博客
07-18 1746
HTTP信息是明文传输，而HTTPS则通过SSL/TLS协议进行加密传输，确保数据传输的安全性。HTTPS可以验证服务器身份，防止中间人攻击，保护数据的完整性和保密性。HTTPS是在HTTP基础上加入SSL构建的，支持加密传输和身份认证。由于HTTPS在传输层增加了加密处理，页面加载速度可能会比HTTP慢，且对服务器资源消耗更大。HTTPS需要向CA（证书颁发机构）申请证书，这通常涉及一定的费用，而HTTP不需要。HTTPS的URL以"https://“开头，而HTTP则是"http://”。
HTTP模块(二）
最新发布
weixin_45780818的博客
07-24 498
不仅可以接收字符串作为参数，发送文本数据给客户端，还能够接收 Buffer 对象来发送二进制数据，如图片、音频或视频文件等，需要注意的是使用 Buffer 时，确保你的内容类型（Content-Type）设置与实际数据类型相匹配，以便浏览器或客户端能够正确处理。这是由于响应报文均返回html所导致。会发现css样式和js点击功能失效。当结构为资源都在响应文件夹下时。
哪种SSL证书可以快速签发保护http安全访问？
2301_81852320的博客
07-19 610
SSL证书不同的证书类型，申请、签发、部署的时间周期有所不同，哪种SSL证书可以快速签发呢？
网页HTTP协议 get请求和post请求区别？（HTTP中Get、Post、Put与Delete的区别）（HTTP请求方法、HTTP请求方式、HTTP方法）
Dontla的博客
07-19 1289
简而言之，虽然理论上可以通过一个单一的请求方法处理所有的操作，但这样做会损失很多 HTTP 设计的优势，降低整体应用的效率、安全性和可维护性。正确使用 HTTP 方法可以使后端逻辑更清晰，更易于管理和扩展。后端之所以要分为 GET、POST、DELETE 等多种请求方法，主要是为了遵循 HTTP 协议的设计原则，提高网络通信的效率、安全性和可维护性。使用正确的方法可以让其他开发者或系统明确知道请求预期达到什么样的效果，提高了代码的可读性和可维护性。
【HTTP 与 HTTPS 介绍与区别】
武帝为此的博客
07-20 471
HTTP（HyperText Transfer Protocol，超文本传输协议）是用于传输超文本的应用层协议。它是无状态的，其每个请求都是独立的，不会记住之前的请求信息。HTTPS（HyperText Transfer Protocol Secure，超文本传输协议安全版）是HTTP的安全版，它在HTTP的基础上增加了SSL/TLS（Secure Sockets Layer/Transport Layer Security）协议，用于加密数据传输，确保数据的机密性和完整性。
Air780EP-AT开发-HTTP应用指南
合宙Luat官方账号
07-22 876
1、激活PDP（参考：http://oldask.openluat.com/article/937）2、初始化HTTP服务3、设置HTTP会话参数4、如果要支持SSL，配置SSL参数5、如果使用POST命令，输入POST数据6、发起HTTP请求7、收到HTTP应答，读取应答数据8、终止HTTP服务第1步出现异常后：首先需要排查http连接和请求参数是否正常，通过postman是否可以请求成功，模块上网是否正常（AT+CEREG?第2步到第5步，只要输入格式正确，基本不会出问题；
深入理解HTTP编程与Web服务器开发
HTTP编程是指使用HTTP（Hypertext Transfer Protocol）协议进行网络通信和开发相应的服务端程序的技术。本文档《HTTP编程Web服务器.ppt》详细介绍了HTTP的原理、Web服务器的开发以及自制浏览器访问Web服务器的实验。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值