网络编程——解剖HTTP之使用原生Socket 完成HTTP简单通信

最新推荐文章于 2022-01-12 23:24:45 发布
最新推荐文章于 2022-01-12 23:24:45 发布
阅读量1.3k 收藏 6
点赞数 1
分类专栏： 网络编程 文章标签： Socket Http 网络协议 Http协议 Socket 通信
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CrazyMo_/article/details/88642354
版权

文章大纲

引言

前几篇文章

总结了网络分层模型、TCP协议、HTTP协议等一些最基本网络知识，如果你对于HTTP协议还没有了解的话，跟着文章敲一遍，细细体味每个流程，或许对于所谓的协议有自己的理解，接下来就直接进入代码的世界吧。

一、抽象构造自定义的HttpURL对象

此处我们使用的是HTTP协议进行通信，所以得根据HTTP协议中约定的URL的基本语法
形如： schemal " : //" “internet adress” [:port] “/resource_file_name” 形式来构造HttpURL，这也是HTTP请求头的数据来源。

package com.crazymo.cruzrv281;

import java.net.MalformedURLException;
import java.net.URL;

/**
 * @author : Crazy.Mo
 */
public class HttpUrl {
    String protocol;
    String host;
    String path;
    int port;

    /**
     * scheme://host:port/path?query#fragment
     * @param path 传入完整的请求 比如http://restapi.amap.com/v3/weather/weatherInfo?city=上海&key=ccbf1d251595efa936df0ba784346902
     * @throws MalformedURLException
     */
    public HttpUrl(String path) throws MalformedURLException{
        URL url=new URL(path);
        host=url.getHost();
        this.path =url.getFile();
        this.path =(this.path ==null || this.path.length() ==0)? "/" : this.path;
        protocol=url.getProtocol();
        port=url.getPort();
        port=port== -1 ? url.getDefaultPort() :port;
    }

    public String getProtocol() {
        return protocol;
    }

    public String getHost() {
        return host;
    }

    public String getPath() {
        return path;
    }

    public int getPort() {
        return port;
    }
}

二、Http报文解析

在Java 中网络通信的本质都是I/O操作，所以所谓的报文解析就是根据Http协议定义的报文格式去解析，因为Http报文本身就是高度结构化的字符串，严格定义了报文中各部分内容的规则。

package com.crazymo.cruzrv281;

import java.io.IOException;
import java.io.InputStream;
import java.nio.ByteBuffer;
import java.util.HashMap;
import java.util.Map;

/**
 * Http报文解析类
 * @author : Crazy.Mo
 */
public class HttpCodec {
    ByteBuffer byteBuffer;

    public HttpCodec(){
        //申请足够大的内存记录读取的数据 (一行)
        byteBuffer = ByteBuffer.allocate(10 * 1024);
    }
    /**
     *
     * @param inputStream
     * @return
     * @throws IOException
     */
    public String readLine(InputStream inputStream) throws IOException {
        try {
            byte b;
            boolean isMabeyEofLine = false;
            //标记
            byteBuffer.clear();
            byteBuffer.mark();
            while ((b = (byte) inputStream.read()) != -1) {
                byteBuffer.put(b);
                // 读取到/r则记录，判断下一个字节是否为/n
                if (b == HttpConst.CR) {
                    isMabeyEofLine = true;
                } else if (isMabeyEofLine) {
                    //上一个字节是/r 并且本次读取到/n
                    if (b == HttpConst.LF) {
                        //获得目前读取的所有字节
                        byte[] lineBytes = new byte[byteBuffer.position()];
                        //返回标记位置
                        byteBuffer.reset();
                        byteBuffer.get(lineBytes);
                        //清空所有index并重新标记
                        byteBuffer.clear();
                        byteBuffer.mark();
                        return new String(lineBytes);
                    }
                    isMabeyEofLine = false;
                }
            }
        } catch (Exception e) {
            throw new IOException(e);
        }
        throw new IOException("Response Read Line.");
    }

    /**
     * 用于解析头部
     * @param inputStream
     * @return
     * @throws IOException
     */
    public Map<String,String> readHeaders(InputStream inputStream) throws IOException {
        HashMap<String, String> headers = new HashMap<>();
        while (true) {
            String line = readLine(inputStream);
            //读取到空行 则下面的为body
            if (isEmptyLine(line)) {
                break;
            }
            int index = line.indexOf(":");
            if (index > 0) {
                String name = line.substring(0, index);
                // ": "移动两位到 总长度减去两个("\r\n")
                String value = line.substring(index + 2, line.length() - 2);
                headers.put(name, value);
            }
        }
        return headers;
    }

    public byte[] readBytes(InputStream inputStream, int length) throws IOException {
        byte[] bytes=new byte[length];
        int readNum=0;
        while (true){
            readNum +=inputStream.read(bytes,readNum,length-readNum);
            //读取完毕
            if(readNum==length){
                return  bytes;
            }
        }
    }

    private boolean isEmptyLine(String line) {
        return line==null || line.equals("\r\n");
    }

    /**
     * 解析分块编码形式的响应体
     * @param inputStream
     * @return
     * @throws IOException
     */
    public String readChunked(InputStream inputStream) throws IOException {
        int len=-1;
        boolean isEmptyData=false;
        StringBuffer buffer=new StringBuffer();
        while (true){
            if(len<0){
                String line= readLine(inputStream);
                //减掉\r\n
                line=line.substring(0,line.length()-2);
                //Chunked 编码最后一段数据为0 \r\n\r\n
                len=Integer.valueOf(line,16);
                isEmptyData=len==0;
            }else {
                //块的长度不包括\r\n 所以加2 将\r\n读走
                byte[] bytes=readBytes(inputStream,len+2);
                buffer.append(new String(bytes));
                len=-1;
                if(isEmptyData){
                    return buffer.toString();
                }
            }
        }
    }
}

定义一个工具常量类（建议以后对于一些用于存储常量的类，都使用枚举类或者接口来替代，因为接口已经是抽象的，并且是一种单例，因此它们的字段默认情况下都是 static final类型的）

package com.crazymo.cruzrv281;

/**
 * @author : Crazy.Mo
 */
public interface HttpConst {
    //回车和换行
    String CRLF = "\r\n";
    //"/r"
    int CR = 13;
    int LF = 10;
    String GET="GET ";
    String POST="POST ";
    String HOST="Host: ";
}

三、使用Socket 进行Http通信

使用Socket 进行Http通信一般来说有以下几个步骤：

1、创建HttpURL并拼接请求报文

所谓创建请求报文就是严格根据前面文章的报文格式，拼接成对应的字符串。

final HttpUrl url=new HttpUrl("http://restapi.amap.com/v3/weather/weatherInfo?city=上海&key=ccbf1d251595efa936df0ba784346902");

    /**
     * 创建Http请求报文
     * @param url
     * @return
     */
    private StringBuffer createRequestPacket(HttpUrl url) {
        StringBuffer buffer=new StringBuffer();
        //构造请求行
        buffer.append(HttpConst.GET);
        buffer.append(url.getPath());
        buffer.append(" ");
        buffer.append("HTTP/1.1");
        buffer.append(HttpConst.CRLF);

        //请求头
        buffer.append(HttpConst.HOST);
        buffer.append(url.getHost());
        buffer.append(HttpConst.CRLF);

        //请求体，这个请求可以为空所以。。。
        buffer.append(HttpConst.CRLF);
        return buffer;
    }

2、创建Socket并通过connect方法进行连接

创建Socket很简单直接使用JDK给我们提供的Socket的构造方法即可。

 Socket socket=new Socket();
 //通过端口号与指定Host的主机建立了连接
 socket.connect(new InetSocketAddress(url.getHost(),url.getPort()),5000);

3、获取Socket 对应的输入和输出流

建立了Socket 连接之后就可以通过对应的方法获取输入输出流，其中输入流是用于读取服务器的响应数据；而输出流则是客服端发送数据给服务器的

final OutputStream outputStream=socket.getOutputStream();
final InputStream inputStream=socket.getInputStream();

4、发送Http请求

发送Http请求就是向输出流写入字节数据。

    /**
     *  发送Http请求
     * @param buffer
     * @param outputStream 输出流则是客服端发送数据给服务器的
     * @throws IOException
     */
    private void sendRequest(StringBuffer buffer, OutputStream outputStream) throws IOException {
        outputStream.write(buffer.toString().getBytes());
        outputStream.flush();
    }

5、解析Http响应

new Thread(new Runnable() {
                @Override
                public void run() {
                    HttpCodec httpCodec=new HttpCodec();
                    try{
                        //解析响应行
                        String responseLine=httpCodec.readLine(inputStream);
                        System.out.println("响应行："+responseLine);
                        System.out.println("响应头：");
                        //解析响应头
                        Map<String,String> headers=httpCodec.readHeaders(inputStream);
                        for (Map.Entry<String,String> entry :headers.entrySet()){
                            System.out.println(entry.getKey() +":"+entry.getValue());
                        }
                        //解析Content-Length响应体
                        if(headers.containsKey("Content-Length")){
                            int length=Integer.valueOf(headers.get("Content-Length"));
                            byte[] bytes=httpCodec.readBytes(inputStream,length);
                            System.out.println("\n响应体："+new String(bytes));
                        }else{
                            //分块编码
                            String response=httpCodec.readChunked(inputStream);
                            System.out.println("分块响应体："+response);
                        }
                    }catch (Exception e){
                        e.printStackTrace();
                    }
                }
            }).start();

在解析Http响应体的时候，有可能不同的api采用的方式不同，有的可能还会采用分块编码的形式，如下图：
在这里插入图片描述
最终完整测试代码


void httpTest() throws MalformedURLException {
        //高德地图获取天气api 响应体使用Content-Length
        final HttpUrl url=new HttpUrl("http://restapi.amap.com/v3/weather/weatherInfo?city=上海&key=ccbf1d2515xxxxxx");
        //快递100查询 api 响应体使用分块编码的api
        //final HttpUrl url=new HttpUrl("http://www.kuaidi100.com/query?type=shunfeng&postid=8989");
        System.out.println("host："+url.host);
        System.out.println("protocol："+url.getProtocol());
        System.out.println("port："+url.getPort());
        System.out.println("path："+url.getPath());

        StringBuffer buffer=createRequestPacket(url);
        Socket socket=new Socket();
        try {
            //通过端口号与指定Host的主机建立了连接
            socket.connect(new InetSocketAddress(url.getHost(),url.getPort()),5000);

            //建立了Sockect 连接之后就可以通过对应的方法获取输入输出流，其中输入流是用于读取服务器的响应数据；而输出流则是客服端发送数据给服务器的
            final OutputStream outputStream=socket.getOutputStream();
            final InputStream inputStream=socket.getInputStream();
            System.out.println("开始发送报文... \n"+buffer);
            sendRequest(buffer, outputStream);
            new Thread(new Runnable() {
                @Override
                public void run() {
                    HttpCodec httpCodec=new HttpCodec();
                    try{
                        //解析响应行
                        String responseLine=httpCodec.readLine(inputStream);
                        System.out.println("响应行："+responseLine);
                        System.out.println("响应头：");
                        //解析响应头
                        Map<String,String> headers=httpCodec.readHeaders(inputStream);
                        for (Map.Entry<String,String> entry :headers.entrySet()){
                            System.out.println(entry.getKey() +":"+entry.getValue());
                        }
                        //解析Content-Length响应体
                        if(headers.containsKey("Content-Length")){
                            int length=Integer.valueOf(headers.get("Content-Length"));
                            byte[] bytes=httpCodec.readBytes(inputStream,length);
                            System.out.println("\n响应体："+new String(bytes));
                        }else{
                            //分块编码
                            String response=httpCodec.readChunked(inputStream);
                            System.out.println("分块响应体："+response);
                        }
                    }catch (Exception e){
                        e.printStackTrace();
                    }
                }
            }).start();

            while (true){
                Thread.sleep(1000*10);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }catch (InterruptedException e) {
            e.printStackTrace();
        }
    }

高德查询天气api的运行结果：
在这里插入图片描述
快递100查询api的结果：
在这里插入图片描述

ps:这里为了方便我直接在单元测试中进行测试，也不考虑健壮性等一些细节的设计，仅仅是为了演示原始Socket实现HTTP通信,项目中需要重新设计逻辑。

所谓的通信协议其实也就那样吧，定义规范，通信双方必须遵守，下一篇继续HTTPS的通信。

CrazyMo_
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Socket与HTTP解析
Android在路上
02-15 5511
1.网络基础网络分层：计算机网络分层模型有两种 OSI参考模型 TCP/IP参考模型 网络层：根据IP查找到目的地址的主机 运输层：通过端口把数据发送给目的主机，实现进程间通信 2.端口端口规定有16位，及计算机有2的16次方65536个端口。3.C/S架构定义：即客户端/服务端，软件体系架构作用：利用客户端和服务端的硬件资源，将任务合理的分配到客户端和服务端来实现，降低开销 Soc
【socket】socket介绍-socket与http服务通信
zwan0518的专栏
12-20 3748
之前几篇文章都是介绍了socket的基础知识，包括socket的TCP/IP协议栈，socket的服务端集中常见的实现模式，还有对于socket在内核中都是如何支持和实现的。这篇文章就讲解socket的使用，通过socket来模拟http请求。
通过一个Socket例子理解Http协议
autoinspired的专栏
07-14 2596
来自：http://tech.163.com/tm/030531/030531_95888.htmlWeb服务器与客户端的通信使用HTTP协议（超文本传输协议），所以也叫做HTTP服务器。用Java构造Web服务器主要用二个类，java.net.Socket和java.net.ServerSocket，来实现HTTP通信。因此，本文首先要讨论的是HTTP协议和这两个类，在此基础上实现一个简单但
通过手写ServerSocket理解Http协议
qq_43750656的博客
12-01 376
之前对http协议所谓的什么请求行，请求头，请求体，响应头，响应行，响应体这些概念理解的不是很透彻，以至于对于服务器接收请求处理响应封装请求与响应的理解无法搞懂。 先上代码： package com.example.appauth.server; import java.io.ByteArrayOutputStream; import java.io.InputStream; import java.io.OutputStream; import java.net.ServerSocket; import
Http服务器请求响应解析,如何使用socket进行Http请求和解析响应
weixin_35664484的博客
08-11 1642
前言本篇文章是为讲述okhttp源码做一个铺垫，主要是简单讲述一下socket的使用，因为在okhttp中网络通讯使用的便是socket。但这篇文章不会涉及okhttp，会简单阐述下socket，然后用代码进行连接后http通讯，话不多说，开始干！目录一、什么是Socket二、如何使用Socket进行http请求1、建立socket连接2、http协议请求和响应格式解析3、进行http请求一、什么...
HTTP协议+socket编程
XiaoDong的博客
11-16 801
<?php /** PHP+Socket编程 使用GET采集信息 发送HTTP请求 */ /** PHP+scoket 编程 scoket实质上就是一种网络编程接口(API). 对TCP/IP的封装，TCP/IP也要提供给程序员做网络开发所用的接口，就是socket编程接口 HTTP类似于轿车，提供了封装或者显示数据的具体形式。 socket就是发动机，实现了网络通信的能力
Socket和Http通信原理
qq_36458461的博客
04-15 4404
在此，先推荐一篇特别好的计算机网络编程的入门知识介绍，包括了socket、TCP/IP协议、网络通信等基础知识 Socket技术详解 Socket是对TCP/IP协议的封装，Socket本身并不是协议，而是一个调用接口（API），通过Socket，我们才能使用TCP/IP协议,主要利用三元组【ip地址，协议，端口】。 Http协议即超文本传输协议，是Web联网的基础，也是手机联网常用的协议之一，h...
Socket编程原理解剖[参照].pdf
10-12
理解和掌握Socket编程原理，对于开发任何需要网络通信的软件都至关重要，无论是简单的文件传输，还是复杂的Web服务、数据库连接或其他分布式系统。在实际项目中，开发者需要根据应用需求灵活运用Socket接口，确保...
系统解剖学之呼吸系统演示文稿共52页.pdf
最新发布
10-27
系统解剖学之呼吸系统演示文稿共52页.pdf
Go-golibwireshark-使用libwireshark库解码pcap文件并分析解剖数据
08-14
在IT行业中，网络数据分析是至关重要的，特别是在网络故障排查、安全审计和性能优化等领域。Go-golibwireshark项目提供了一个强大的工具，它利用libwireshark库来解析和分析pcap（Packet Capture）文件，这是一种...
胎儿出生后退化的解剖学结构——个人作业课堂演示简易ppt模板.rar
09-10
胎儿出生后退化的解剖学结构是生物学领域中一个...本份"胎儿出生后退化的解剖学结构——个人作业课堂演示简易ppt模板"旨在通过清晰易懂的方式，帮助学习者掌握这一重要知识领域，加深对胎儿和新生儿生理特点的理解。
PE文件格式剖析——解剖PE格式文件
10-25
PE文件格式的核心目标之一是提供一种跨平台的执行文件格式，使得程序可以在不同的Windows系统版本上运行而无需修改。 #### 二、PE文件结构详解 ##### 1. DOS头 (DOS Header) 每个PE文件都以一个DOS兼容头开始，这...
HTML5 前端原生 WebSocket 通信
蚩尤后裔-汪茂雄
10-19 2939
HTML5 WebSocket WebSocket 是 HTML5 开始提供的一种在单个 TCP 连接上进行全双工通讯的协议。 WebSocket 使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。 WebSocket 中，浏览器和服务器只需要完成一次握手，两者之间就直接可以创建持久性的连接，并进行双向数据传输。 很多网站为了实现推送技术，所用的技术都是 Aj...
网络编程:Http通信与Socket通信
积三木
11-18 962
网络编程:Http通信与Socket通信 http://note.youdao.com/share/?id=f14d304548003f65e34255d3ddf9df31&type=note 网络编程:Http通信与Socket通信（移动互联核心） 知识点概述: 1.Socket通信:面向连接(TCP)和无连接的(UDP) 2.HttpURLConnection 接口:Get和Po
JavaWeb开发通过Socket编程实现网页访问(附源代码)
孤夜的博客
01-12 3946
JavaWeb开发通过Socket编程实现网页访问(附源代码)
使用Socket进行HTTP请求与报文讲解
weixin_33896726的博客
01-05 8262
目录 一、前言 二、什么是Socket 三、如何使用Socket进行http请求 1、建立socket连接 2、http协议请求和响应格式解析 3、进行http请求 四、写在最后 一、前言 本篇文章是为讲述okhttp源码做一个铺垫，主要是简单讲述一下socket的使用，因为在okhttp中网络通讯使用的便是socket。但这篇文章不会涉及okhttp，会简单阐述下socket，然后用代码进行...
java socket解析http消息 GET/POST 携带单个附件
u013569928的专栏
07-26 2418
package socket; import java.io.*; import java.net.*; /**  * MyHttpServer 实现一个简单的HTTP服务器端，可以获取用户提交的内容  * 并给用户一个response  * 因为时间的关系，对http头的处理显得不规范  * 对于上传附件，暂时只能解析只上传一个附件而且附件位置在第一个的情况  * 转载请注明来自
网络编程——计算机网络基本常识之子网掩码小结
最美不过，心中有梦，身旁有你！
07-11 7287
子网掩码（Subnet Mask）又叫网络掩码、地址掩码，子网掩码与IP地址一样都是由4个数段组成，每个数段的取值范围是0-255（共256个值，即2的8次方），在计算机网络中**子网掩码与IP地址是必须组合使用的
C语言深度解剖：避开陷阱，优化编程
"C语言深度剖析，旨在帮助程序员避免错误，提升C语言编程技巧，内容涵盖基础知识到高级主题，如指针、内存管理和文件操作。本书由陈正冲编著，石虎审阅，适合希望优化C语言编程能力的读者。" 在《C语言深度剖析》一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CrazyMo_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值