HTTP编程

最新推荐文章于 2024-07-23 17:30:00 发布
最新推荐文章于 2024-07-23 17:30:00 发布
阅读量251 收藏
点赞数 7
文章标签： http 网络协议 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46502752/article/details/125857921
版权

http协议概述

什么是HTTP?HTTP就是目前使用最广泛的Web应用程序使用的基础协议，例如，浏览器访问网站，手机APP访问后台服务器，都是通过HTTP协议实现的。HTTP是HyperText Transfer Protocol的缩写，翻译为超文本传输协议。它是基于TCP协议之上的一种请求-响应协议。

                我们来看一下浏览器请求访问某个网站发送的HTTP请求-响应。当浏览器希望访问某个网站时，浏览器和网站服务器之间先建立TCP连接，且服务器总是使用80端口和加密端口443，然后，浏览器向服务器发送一个HTTP请求，服务器收到后，返回一个HTTP响应，并且在响应中包含了HTML的网页内容，这样，浏览器解析HTML后就可以给用户显示网页了。一个完整的HTTP请求-响应如下：

            GET / HTTP/1.1
            Host: www.sina.com.cn
            User-Agent: Mozilla/5 MSIE
            Accept: */*                ┌────────┐
┌─────────┐ Accept-Language: zh-CN,en  │░░░░░░░░│
│O ░░░░░░░│───────────────────────────>├────────┤
├─────────┤<───────────────────────────│░░░░░░░░│
│         │ HTTP/1.1 200 OK            ├────────┤
│         │ Content-Type: text/html    │░░░░░░░░│
└─────────┘ Content-Length: 133251     └────────┘
  Browser   <!DOCTYPE html>              Server
            <html><body>
            <h1>Hello</h1>
            ...

HTTP请求的格式是固定的，他由HTTP Header和HTTP Body两部分构成。第一行总是请求方法 路径HTTP版本：例如，GET/HTTP/1.1 表示使用GET请求，路径是/,版本是HTTP/1.1。

后续的每一行都是固定的Header:Value格式，我们称为HTTP Header,服务器依靠某一些特定的Header来识别客户端请求，例如:

Host:表示请求的域名，因为一台服务器上可能有多个网站，因此有必要依靠Host来识别请求是发给哪个网站的；

User-Agent:表示客户端自身标识信息，不同的浏览器有不同的标识，服务器依靠User-Agent判断客户端类型是IE还是Chrome,是Firefox还是一个Python爬虫；

Accept:表示客户端能处理的HTTP响应格式，*/*表示任意格式，text/*表示任意文本，image/png表示PNG格式的图片。

Accept-Language:表示客户端接受的语言，多种语言按优先级排序，服务器依靠该字段给用户返回特定语言的网页版本。

如果是GET请求，那么该HTTP请求只有HTTP Header,没有HTTP Body.如果是POST请求，那么该HTTP请求带有Body。

POST /login HTTP/1.1
Host: www.example.com
Content-Type: application/x-www-form-urlencoded
Content-Length: 30

username=hello&password=123456

POST请求通常要设置Content-Type表示Body的类型,Content-Length表示Body的长度，这样服务器就可以根据请求的Header和Body做出正确的响应.

POST /login HTTP/1.1
Content-Type: application/json
Content-Length:38

{"username":"bob","passwork":"123456"}

 HTTP响应也是由Header和Body两部分组成，一个典型的HTTP响应如下:

POST /1.1 200 OK
Content-Type:text/html
Content-Length:133251

<!DOCTYPE html>
<html><body>
<h1>hello</h1>
...

响应的第一行总是HTTP版本 响应代码 相应说明：例如：HTTP/1.1 200 ok表示版本是HTTP/1.1,响应代码是200，相应说明是OK.客户端只依赖响应代码判断HTTP响应是否成功。HTTP有固定的响应代码：

1xx:表示一个提示性响应，例如101表示将切换协议，常见于WebSocket连接;

2xx:表示一个成功的响应，例如200表示成功，206表示只发送了部分内容；

3xx:表示一个重定向的响应，例如301表示永久重定向，303表示客户端应该按指定路径重新发送请求;

404:表示一个因为客户端问题导致的错误响应，例如400表示因为Content-Type等各种原因导致的无效请求，404表示指定的路径不存在；

5xx:表示一个因为服务器问题导致的错误响应，例如500表示服务器内部故障，503表示服务器暂时无法响应。

        对于最早期的HTTP/1.0协议，每次发送一个HTTP请求，客户端都需要先创建一个新的TCP连接，然后，收到服务器响应后，关闭这个TCP连接。由于建立TCP连接就比较耗时，因此，为了提高效率，HTTP/1.1协议允许在一个TCP连接中反复发送-响应，这样就能大大提高效率。

                       ┌─────────┐
┌─────────┐            │░░░░░░░░░│
│O ░░░░░░░│            ├─────────┤
├─────────┤            │░░░░░░░░░│
│         │            ├─────────┤
│         │            │░░░░░░░░░│
└─────────┘            └─────────┘
     │      request 1       │
     │─────────────────────>│
     │      response 1      │
     │<─────────────────────│
     │      request 2       │
     │─────────────────────>│
     │      response 2      │
     │<─────────────────────│
     │      request 3       │
     │─────────────────────>│
     │      response 3      │
     │<─────────────────────│
     ▼                      ▼

因为HTTP协议是一个请求-响应协议，客户端在发送一个HTTP请求后，必须等待服务器响应后，才能发送下一个请求，这样一来，如果某个响应太慢，它就会堵住后面的请求。所以，为了进一步提速，HTTP/2.0允许客户端在没有收到响应的时候，发送多个HTTP请求，服务器返回响应的时候，不一定按顺序返回，只要双方能识别出哪个响应对应哪个请求，就可以做到并行发送和接收。

                       ┌─────────┐
┌─────────┐            │░░░░░░░░░│
│O ░░░░░░░│            ├─────────┤
├─────────┤            │░░░░░░░░░│
│         │            ├─────────┤
│         │            │░░░░░░░░░│
└─────────┘            └─────────┘
     │      request 1       │
     │─────────────────────>│
     │      request 2       │
     │─────────────────────>│
     │      response 1      │
     │<─────────────────────│
     │      request 3       │
     │─────────────────────>│
     │      response 3      │
     │<─────────────────────│
     │      response 2      │
     │<─────────────────────│
     ▼                      ▼

案例：根据服务器使用TCP连接处理客户端的HTTP请求

try(ServerSocket server=new ServerSocket(8080)){
        while(true){
            //获取客户浏览器的连接
            Socket borwerClent=server.accept();
            //读取客户端的请求(request)
            BufferedReader reader=new BufferedReader(new InputStreamReader(browserClient.getInputStream()));
        String line=null;
         while((line=reader.readLine())!=null){
            System.out.println(line);
}catch(Exception e) {
				e.printStackTrace();
			}

模拟服务器的响应(response)

BufferedWriter writer=new BufferedWriter(
        new OutputStreamWriter(
                browserClient.getOutputStream()));){
        writer.write("HTTP/1.1 200 OK");
        writer.newLine();
        writer.write(UUID.randomUUID().toString());
        }
}

爬虫

爬取网页某一张图片

try {
			URL imageUrl=new URL("https://img9.doubanio.com/view/photo/l/public/p2580910036.webp");
			HttpURLConnection connection=(HttpURLConnection)imageUrl.openConnection();
			connection.setRequestMethod("GET");
			connection.setRequestProperty("user-agent"," Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36 SE 2.X MetaSr 1.0");
			try (BufferedInputStream bis=new BufferedInputStream(connection.getInputStream());
				BufferedOutputStream bos=new BufferedOutputStream(new FileOutputStream("c:\\test\\img\\doubanjiang\\"+System.currentTimeMillis()+".webp"));){
				
				byte[] buff=new byte[1024];
				int len=-1;
				while((len=bis.read(buff))!=-1) {
					bos.write(buff,0,len);
				}
			} catch (IOException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
		} catch (MalformedURLException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}

 爬取一张网页内所有图片

try {
			URL imageUrl=new URL("https://movie.douban.com/");
			HttpURLConnection connection=(HttpURLConnection)imageUrl.openConnection();
			connection.setRequestMethod("GET");
			connection.setRequestProperty("User-Agent"," Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36 SE 2.X MetaSr 1.0");
			try(BufferedReader reader=new BufferedReader(new InputStreamReader(connection.getInputStream(),StandardCharsets.UTF_8));){
				
			
			String line=null;
			while((line=reader.readLine())!=null) {
				line=line.trim();
				//使用jsoup解析html
				//JSOUP类的作用进行原始解析
				//Document类：网页文档(包含解析到的所有标签)
				//Elements类：若干元素Element形成的集合(继承自ArrayList)
				//Element类:某一个HTML元素
				//提取图片的路径src,电影名称alt
				String src="",alt="";
				Document doc= Jsoup.parse(line);
				Element imgElement=doc.getElementsByTag("img").first();
				src=imgElement.attr("src");
				alt=imgElement.attr("alt");
				
//				if((line.startsWith("<img")&&line.contains("https://img")&&line.contains(".jpg"))){
//					
//				int beginIndex=line.indexOf("https://img");
//				int endIndex=line.indexOf(".jpg")+4;
//				String src=line.substring(beginIndex, endIndex);
//				beginIndex=line.indexOf("alt")+5;
//				endIndex=line.indexOf("\"",beginIndex);
//				String alt=line.substring(beginIndex,endIndex);
//				System.out.println(src);
//				System.out.println(alt);
				URL imageUrlsrc=new URL(src);
				HttpURLConnection imageUrlConnection=(HttpURLConnection)imageUrlsrc.openConnection();
				try(BufferedInputStream in=new BufferedInputStream(imageUrlConnection.getInputStream());
				BufferedOutputStream out=new BufferedOutputStream(new FileOutputStream("c:\\test\\img\\doubanjiang\\"+alt+".jpg"));){
					byte[] buff=new byte[1024];
					int len=-1;
					while((len=in.read(buff))!=-1) {
						out.write(buff,0,len);
					}
				}catch (Exception e) {
					// TODO: handle exception
				}
				}
			}}catch (Exception e) {
				// TODO: handle exception
			}}
		
//		} catch (MalformedURLException e) {
//			// TODO Auto-generated catch block
//			e.printStackTrace();

 

掉头发的胡程序员
关注
  • 7
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
[WCFREST]WebHTTP编程模型——WebHttpBinding
03-23
在WebHTTP编程模型中，我们采用基于WebHttpBinding绑定的终结点。绑定是一组相关绑定元素的有序组合，绑定的特性与能力决定于它包含的绑定元素，在这里我们通过 　不论是我们采用SOAP还是REST架构风格，运行时框架...
Java Http编程简单示例
10-12
Java Http编程是Java开发中的一项基础技能，尤其是在构建Web应用和服务时不可或缺。HTTP（超文本传输协议）是互联网上应用最广泛的一种网络协议，而Java提供了多种方式来实现HTTP通信，其中最常见的是使用`...
java爬虫(jsoup)爬取斗图吧网站表情包
m0_56919521的博客
09-09 411
java爬虫(jsoup)爬取斗图吧网站表情包 import java.util.*; import org.jsoup.*; import org.jsoup.nodes.*; import java.io.*; import org.jsoup.select.*; public class EmotionPackage{ public static void main(String[] args)throws Exception{ downLoad(1); } static void dow
爬虫进行request请求时User-Agent怎样写
BADAO_LIUMANG_QIZHI的博客
02-15 2318
场景 在写爬虫进行request请求时，如果不能正常请求就要添加请求头。 常用的是修改User-Agent来伪装浏览器。 我们除了复制之外，这里可以参照一个库叫fake-useragent。 网址： https://pypi.org/project/fake-useragent/ 安装 pip install fake-useragent 使用 官方示例： from fak...
基于HTTP请求头字段 User-Agent用户环境 开发多端应用
想好了就去做吧 即便失败了 至少这条路上留下了你的脚印
06-02 839
User-Agent是HTTP请求头的一个字段，主要用于向服务器提供客户端的浏览器类型及版本、操作系统及版本、浏览器内核等信息。开发者可以根据系统环境开发不同排版的网站，给予用户更好的体验。
nginx lua 小项目：根据 user_agent 显示不同的页面，附带和 php 性能的对比
weixin_34138139的博客
09-19 356
怎么快速学习一门新的语言呢？如果你已经熟练掌握了一门语言，那么其他语言都是想通的。一个小小的需求，可能会遇到很多问题，但是搜索相关的关键字，就能快速实现出来，完成一个小目标，事半功倍。死记硬背手册，太枯燥了，反正我是看不下去，不如直接来个小项目。 一个小需求 pc、mobile 一个地址有两套页面，需要在后端根据浏览器的 user_agent 来显示不同...
利用useagent判断不同平台展示不同内容
Sam.LIU的博客
09-09 1439
因为存在各个不同的PC端，也因此就有在各个平台上不同的浏览器。也自然而然地会有诸如在不同的平台或者浏览器上为用户展示不同内容的需求。 说到浏览器，我们会很自然地想到BOM中navigator对象，其中有个useAgent属性,是一个只读的字符串，声明了浏览器用于 HTTP 请求的用户代理头的值。 以下是我对useAgent的字符串内容的分析 useAgent由appCodeName(开头部分...
Go基础编程：HTTP编程
秋叶原 && Mike || 麦克
01-18 3705
Go语言标准库内建提供了net/http包，涵盖了HTTP客户端和服务端的具体实现。使用net/http包，我们可以很方便地编写HTTP客户端或服务端的程序。 1 HTTP服务端 示例代码： package main import ( "fmt" "net/http" ) //服务端编写的业务逻辑处理程序 //hander函数： 具有func(w http.Res...
go基础 go的HTTP网络编程
一越王超的博客
04-23 7001
go的http编程有如下优点： Go原生支持http, import(“net/http”) Go的http服务性能和nginx比较接近 几行代码就可以实现一个web服务 http编程示例
Linux网络编程----http
qq_48083892的博客
02-17 1636
Linux网络编程----http
java后端的http网络编程---主要是传输文件接口
Brave_heart4pzj的博客
08-01 3419
先放一句话： 传输过程中，客户端断网或者什么其他情况，导致传输终止。 服务器不会因为接受一半而保存一半文件的。
少年编程软件
cnds123的专栏
04-05 6200
青少年编程软件如Scratch、Mind+、编程猫
第9章_HTTP编程：Web服务器的开发
04-20
http编程方向，关于web服务器开发的事宜
网络编程3HTTP编程 网络编程3HTTP编程
04-28
本文将深入探讨HTTP编程的基本原理、工作流程以及在网络编程中如何应用。 HTTP是一种无状态、基于文本的协议，用于在Web服务器和客户端之间传输HTML文档和其他类型的数据。它的主要特点包括请求-响应模型、统一资源...
java网络编程http通信
06-14
通过java网络编程深入理解http非阻塞通信和阻塞通信，以及http协议在网络中的应用 源码包每一行都有注释，在代码里面每一个类都有详细的注释来解释这个类的功能这个方法的功能，调用哪一个类的哪一个功能等等。 压缩...
HTTP 协议浅析
最新发布
yimeixiaolangzai的博客
07-23 1097
HTTP 是一种无状态的、基于请求和响应模式的应用层协议。无状态意味着每次请求都是独立的，不依赖于前后的请求。客户端（通常是浏览器）发起请求，服务器处理请求并返回响应。
https和http区别
qq_39495959的博客
07-18 1770
HTTP信息是明文传输，而HTTPS则通过SSL/TLS协议进行加密传输，确保数据传输的安全性。HTTPS可以验证服务器身份，防止中间人攻击，保护数据的完整性和保密性。HTTPS是在HTTP基础上加入SSL构建的，支持加密传输和身份认证。由于HTTPS在传输层增加了加密处理，页面加载速度可能会比HTTP慢，且对服务器资源消耗更大。HTTPS需要向CA（证书颁发机构）申请证书，这通常涉及一定的费用，而HTTP不需要。HTTPS的URL以"https://“开头，而HTTP则是"http://”。
哪种SSL证书可以快速签发保护http安全访问？
2301_81852320的博客
07-19 677
SSL证书不同的证书类型，申请、签发、部署的时间周期有所不同，哪种SSL证书可以快速签发呢？
05 HTTP & Tomcat & Servlet
weixin_62504976的博客
07-22 1081
HTTP概念HyperText Transfer Protocol，超文本传输协议，规定了浏览器和服务器之间数据传输的规则数据传输的规则指的是请求数据和响应数据需要按照指定的格式进行传输如果想知道具体的格式，可以打开浏览器，点击F12打开开发者工具，点击Network来查看某一次请求的请求数据和响数据具体的格式内容在浏览器中如果看不到上述内容，需要清除浏览器的浏览数据。chrome浏览器可以使用ctrl+shift+Del进行清除所以学习HTTP主要就是学习请求和响应数据的具体格式内容。
深入理解HTTP编程与Web服务器开发
HTTP编程是指使用HTTP（Hypertext Transfer Protocol）协议进行网络通信和开发相应的服务端程序的技术。本文档《HTTP编程Web服务器.ppt》详细介绍了HTTP的原理、Web服务器的开发以及自制浏览器访问Web服务器的实验。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值