golang、redis、http、数据格式等相关知识合集

最新推荐文章于 2023-09-01 12:01:26 发布
最新推荐文章于 2023-09-01 12:01:26 发布
阅读量180 收藏 1
点赞数
文章标签： golang redis http websocket github
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43958737/article/details/118441785
版权
本文档详述了golang、http协议、数据格式（如json、yaml、ini、protobuf）以及redis的相关知识，包括http请求的区别、状态码、golang数据类型、goroutine、内存管理、channel、字符串、map的特性，以及redis的过期策略、事务和锁机制。此外，还涵盖了MongoDB、算法、WebSocket、gRPC框架和GoMock工具的使用。
摘要由CSDN通过智能技术生成

系列文章目录

计算机相关知识文档

文章目录

前言

本文设计计算机相关知识比较广，供个人学习使用，其中很多内容摘自其他文章，有些没有标记出来，若有侵权可联系本人马上删除。

一、http协议post请求和get请求的区别

请求参数：GET请求参数是通过URL传递的，多个参数以&连接，POST请求放在request body中。
请求缓存：GET请求会被缓存，而POST请求不会，除非手动设置。
收藏为书签：GET请求支持，POST请求不支持。
安全性：POST比GET安全，GET请求在浏览器回退时是无害的，而POST会再次请求。
历史记录：GET请求参数会被完整保留在浏览历史记录里，而POST中的参数不会被保留。
编码方式：GET请求只能进行url编码，而POST支持多种编码方式。
对参数的数据类型：GET只接受ASCII字符，而POST没有限制。
请求参数长度限制：在HTTP协议中没有对URL长度进行限制，这个限制是不同的浏览器及服务器由于有不同的规范而带来的限制。
GET请求的request body：GET可以带request body，但不能保证一定能被接收到。

二、http常用状态码

  • 相应类别由以下五种：
状态码类别描述
1xxInformational（信息状态码）
2xxSuccess（成功状态码）请求正常处理完毕
3xxRedirection（重定向状态码）需要附加操作已完成请求
4xxClient Error（客户端错误状态码）服务器无法处理请求
5xxServer Error（服务器错误状态码）服务器处理请求出错
  • 14种常用的HTTP状态码列表
状态码状态码英文名称中文描述
200OK请求成功。一般用于GET与POST请求
204No Content无内容。服务器成功处理，但未返回内容。在未更新网页的情况下，可确保浏览器继续显示当前文档
206Partial Content是对资源某一部分的请求，服务器成功处理了部分GET请求，响应报文中包含由Content-Range指定范围的实体内容。
301Moved Permanently永久性重定向。请求的资源已被永久的移动到新URI，返回信息会包括新的URI，浏览器会自动定向到新URI。今后任何新的请求都应使用新的URI代替
302Found临时性重定向。与301类似。但资源只是临时被移动。客户端应继续使用原有URI
303See Other查看其它地址。与302类似。使用GET请求查看
304Not Modified未修改。所请求的资源未修改，服务器返回此状态码时，不会返回任何资源。客户端通常会缓存访问过的资源，通过提供一个头信息指出客户端希望只返回在指定日期之后修改的资源
307Temporary Redirect临时重定向。与302类似。使用GET请求重定向，会按照浏览器标准，不会从POST变成GET。
400Bad Request客户端请求报文中存在语法错误，服务器无法理解。浏览器会像200 OK一样对待该状态吗
401Unauthorized请求要求用户的身份认证，通过HTTP认证（BASIC认证，DIGEST认证）的认证信息，若之前已进行过一次请求，则表示用户认证失败
402Payment Required保留，将来使用
403Forbidden服务器理解请求客户端的请求，但是拒绝执行此请求
404Not Found服务器无法根据客户端的请求找到资源（网页）。通过此代码，网站设计人员可设置"您所请求的资源无法找到"的个性页面。也可以在服务器拒绝请求且不想说明理由时使用
500Internal Server Error服务器内部错误，无法完成请求，也可能是web应用存在bug或某些临时故障
501Not Implemented服务器不支持请求的功能，无法完成请求
503Service Unavailable由于超载或系统维护，服务器暂时的无法处理客户端的请求。延时的长度可包含在服务器的Retry-After头信息中

三、golang 相关

四种数据类型

  • 基本类型：整型（int/uint/int8/uint8/int16/uint16/int32/uint32/int64/uint64/byte/rune等）、浮点数（float32/float64）、复数类型（complex64/complex128）、字符串（string）。
  • 复合类型（又叫聚合类型）：数组和结构体类型。
  • 引用类型：切片（slice）、map、channel、指针。
  • 接口类型：如error。
    tips：
    1.go语言中数据类型没有隐式转换
    2.浮点数不能精确表示，浮点运算结果会有误差，所以尽量不要做浮点数比较
    3.slice和map不能用==比较

goroutine协程

  • 一个进程的一个协程panic了，整个进程都会终止

go语言中 channel 发生panic场景

  • 往已经关闭的channel里写数据
  • 关闭已经关闭的channel
  • 从初始化未赋值的channel里读数据

tips：go语言可以从已经关闭的channel里读数据

go语言中string类型

  • 默认值为空字符串
  • 可以使用for循环遍历
  • 可以使用下标读取每一位字符
  • 不可以根据下标更改指定字符

go语言中map类型

  • 不可以并发读取map，需要加锁
  • 从map里读取不存在的key不会panic，会返回map中value的默认值
  • map的输出是无序的
  • map只有len操作，没有cap操作

for range 循环次数

  • 循环次数在函数一开始编译时就已经确定，不会随着循环的执行而动态更改循环次数

接口interface

  • interface接口方式实现比较隐性，任何类型的对象实现interface所包含的全部方法，则表明该类型实现了该接口
  • 空接口interface{}还可以作为一种通用的类型，其他类型变量可以给interface声明的变量赋值
  • 一个接口可以继承多个其他接口

go语言struct结构体

  • 同一个struct的两个实例可比较也不可比较，当结构不包含不可直接比较成员变量（Slice，Map，Function）时可直接比较，否则不可直接比较
  • 通过赋值语句对结构体的拷贝，是浅拷贝，如果struct属性中有引用类型的话，复制的是指针，而不是具体的值。
  • struct是值传递的

内存管理

相关介绍链接: Go内存分配

层级

Page < Span < mcache < mcentral < mheap
tips:TCMalloc是Thread Cache Malloc的简称，是Go内存管理的起源

内存泄露

相关介绍链接: Go内存泄露

  • 内存泄露指的是程序运行过程中已不再使用的内存，没有被释放掉，导致这些内存无法被使用，直到程序结束这些内存才被释放的问题。
  • Go虽然有GC来回收不再使用的堆内存，但这并不意味着Go程序不再有内存泄露问题。
  • 在Go中发现内存泄露有2种方法，一个是通用的监控工具，另一个是go pprof：
  1. 监控工具：固定周期对进程的内存占用情况进行采样，数据可视化后，根据内存占用走势（持续上升），很容易发现是否发生内存泄露。
  2. go pprof：适合没有监控工具的情况，使用Go提供的pprof工具判断是否发生内存泄露。

内存逃逸

相关介绍链接: go的内存逃逸

  • 概念：当函数要返回一个局部变量地址的时候，我就说这个变量(这块内存)想要逃逸，这就是内存逃逸。
  • go的编译器，在编译的时候会做逃逸分析，分析这个变量(这块内存)是否想要逃逸。逃逸，则在堆上分配内存；否则在栈上分配内存。
  • go 中的接口类型的方法调用是动态调度，因此不能够在编译阶段确定，所有类型结构转换成接口的过程会涉及到内存逃逸的情况发生，应该尽量避免使用接口类型。
  • 堆上分配内存比在栈上分配内存，开销大的多
  • go的内存逃逸是在编译期间完成
  • Go编译器会在编译期对考察变量的作用域，并作一系列检查。简单来说，编译器会根据变量是否被外部引用来决定是否逃逸。
  • 不要盲目使用变量的指针作为函数参数，虽然它会减少复制操作。但其实当参数为变量自身的时候，复制是在栈上完成的操作，开销远比变量逃逸后动态地在堆上分配内存少的多。

四、数据相关

json 数据类型

类型描述
数字型（Number）JavaScript 中的双精度浮点型格式
字符串型（String）双引号包裹的 Unicode 字符和反斜杠转义字符
布尔型（Boolean）true 或 false
数组（Array）有序的值序列
值（Value）可以是字符串，数字，true 或 false，null 等等
对象（Object）无序的键:值对集合
空格（Whitespace）可用于任意符号对之间
null空

tips：
1.json中不存在map数据类型
2.json的key只能是string类型
3.json中的数字类型转换到go语言中为float64类型
4.在go语言中omitempty表示如果字段是空值，转换成的json忽略该字段

yaml文件（Ain’t Markup Language）

yaml详细文档: YAML 语言教程.

1. 语法规则
  • 大小写敏感
  • 使用缩进表示层级关系
  • 缩进时不允许使用Tab键，只允许使用空格。
  • 缩进的空格数目不重要，只要相同层级的元素左侧对齐即可
2. 支持的数据结构
  • 对象：键值对的集合，又称为映射（mapping）、 哈希（hashes）、字典（dictionary）
  • 数组：一组按次序排列的值，又称为序列（sequence）、 列表（list）
  • 纯量（scalars）：单个的、不可再分的值：字符串、布尔值、整数、浮点数、Null、时间、日期

ini文件

1.文件结构 :由节、键、值组成。
 [Section1]  
 KeyWord1 = Valuel 
 KeyWord2 = Value2 
 　……  
 [Section2]  
 KeyWord3 = Value3 
 KeyWord4 = Value4
2.特点：结构简单但是不能表现层级结构

protobuf数据类型



五、redis相关

1.redis过期键的策略

Redis的过期删除策略：惰性删除和定期删除两种策略配合使用。

惰性删除：由 db.c/expireIfNeeded 函数实现，所有键读写命令执行之前都会调用 expireIfNeeded 函数对其进行检查，如果过期，则删除该键，然后执行键不存在的操作；未过期则不作操作，继续执行原有的命令。

定期删除：由redis.c/activeExpireCycle 函数实现，函数以一定的频率运行，每次运行时，都从一定数量的数据库中取出一定数量的随机键进行检查，并删除其中的过期键。

2.redis事务机制

  • 将多个命令请求打包，然后一次性、按顺序性地执行多个命令
  • 一个事务从开始到结束经历三个阶段：事务开始、命令入队、事务执行
  • 事务操作：开始（MULTI）、取消（DISCARD）、执行（EXEC）、监视（WATCH）服务器会立即执行从客户端传来的这四个命令
  • WATCH 命令用于监视任意数量的数据库键，并在EXEC命令执行时，检测被监视的键是否被修改，如果被修改了，服务器将拒绝执行事务，并向客户端返回空回复。
  • Redis事务不支持回滚机制。

3.redis锁并发处理

相关介绍链接: redis锁处理并发问题

  • 生成uuid，setNx设置锁，解锁时校验uuid
  • 使用getset命令，getset设置键值，并返回原来的键值。 setnx(lock, 时间戳+超时时间)

4.zset底层数据结构

zset底层的存储结构包括ziplist或skiplist
相关介绍链接: redis zset底层数据结构

  • 在同时满足以下两个条件的时候使用ziplist，其他时候使用skiplist，两个条件如下：
  1. 有序集合保存的元素数量小于128个
  2. 有序集合保存的所有元素的长度小于64字节
  • 当ziplist作为zset的底层存储结构时候，每个集合元素使用两个紧挨在一起的压缩列表节点来保存，第一个节点保存元素的成员，第二个元素保存元素的分值。
  • 当skiplist作为zset的底层存储结构的时候，使用skiplist按序保存元素及分值，使用dict来保存元素和分值的映射关系。

5. pipeline管道命令

  • 把一组命令进行打包，然后一次性通过网络发送到Redis。(官方的推荐是以 10k 每批)
  • 不保证原子性，如果要求原子性的，不推荐使用 pipeline。
  • 第一次存string类型数据时会预分配冗余空间的方式来减少内存的频繁分配。当字符串长度小于 1M 时，扩容都是加倍现有的空间，如果超过 1M，扩容时一次只会多扩 1M 的空间

六、MongoDB相关

  • 索引使用B树
  • 使用insert方法，如果待插入的集合不存在，则插入操作会默认创建集合。
  • 属于NoSQL

七、算法

寻路算法

  • 广度优先算法
  • Dijkstra
  • A star（A *）
  • Greed-Best-First-Search
  • bellman-ford

排序算法

  • 基于比较的排序算法时间复杂度理论极限是O(N*log(N))

八、WebSocket

  • ws(WebSocket) 和wss(WebSocket Secure) 为两个标识符方案，分别用于未加密和加密连接。
  • 是一种长链接，建立连接后，客户端和服务器可以以全双工模式来回发送 WebSocket 数据或文本帧。
  • WebSocket 与HTTP不同。这两种协议都位于OSI 模型的第 7 层，并依赖于第 4 层的 TCP。

九、golang相关框架


gRPC

  • 客户端调用server端提供的接口就像是调用本地的函数一样
  • 使用http2.0作为底层的传输协议
  • 使用protobuf作为传输数据的协议，大幅减少需要传输的数据量
  • 适合服务器之间的通信
  • 采用双向流式处理

go mock

  • 全局变量可通过GoStub框架打桩
  • 过程可通过GoStub框架打桩
  • 函数可通过GoStub框架打桩
  • interface可通过GoMock框架打桩
  • 使用GoStub框架完成mock对象的注入

十、GitHub 使用

  • rebase合并多次提交记录
  • git reset 回退到之前提交的版本
  • clone时所有分支均被克隆，但默认切到HEAD指向的分支
  • 克隆出的工作区中执行 git log、git status、git checkout、git commit等操作不会去访问远程版本库
原来是太阳啊
关注
golang redis数据库基本操作笔记
TigerwolfC的博客
10-26 703
一、理论知识 Redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库。 Redis 优势 性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。 丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。 原子 – Redis...
Go核心开发学习笔记(三十一) —— Golang操作Redis
weixin_41047549的博客
05-30 1076
Redis安装和基本原理请查阅相关资料学习。 Redis基础知识和开发使用： 1. 0 - 15 共计16个库。 2. 典型的KV存储方式。 3. 常用操作命令： (1) 添加kv: set (2) 查找所有key: keys <pattern正则> (3) 查找key对应的value： get (4) 切换数据库: select <num 0-15> (5) 查看k...
使用golang的http模块构建redis读写查api
weixin_34258078的博客
03-21 105
前沿：         这两天试着用golang做一些高性能的api，不想把压力到聚合在平台的接口上。平台因为要做很多耗时间的操作，uwsgi下会出现少许错误，找了一圈不知道如何解决该问题。 暂时先绕道而行，先拿简单的接口来做测试，慢慢的把复杂的操作也迁移到golang上。           话说以前高性能的接口，我用的最多的方案还是nginx lua的组合，超强，大家可以看看我以前写的ngin...
webdis实现Redis的http接口及多数据格式共享 [含json,restful]
weixin_34232617的博客
11-06 327
前言：最近用tornado写了redis的接口，为自己的做cs之间的数据中转，以及后期给别部门的临时数据调用。这些东西难度真不大，但是很杂乱，还要保证性能。朋友推荐了我这款redis的http的服务端利器，要功能他有，要性能他也有。。。webdis是一个简单的 Web 服务器，提供了 HTTP 接口来访问 Redis 服务器，使用了 hiredis, jansson, libevent, and ...
golang中redis连接池
qq_30505673的博客
10-28 4069
package main import ( "github.com/garyburd/redigo/redis" "fmt" ) var pool *redis.Pool func init() { pool = &amp;redis.Pool{ MaxIdle:16, MaxActive:0, IdleTimeout:300, Dial: func() (redis...
golang中的 net/http 包的使用详解
猛犸象
11-20 2961
添加路由与处理程序 func Handle(pattern string, handler Handler) func HandleFunc(pattern string, handler func(ResponseWriter, *Request)) type Handler interface { ServeHTTP(ResponseWriter, *Request) } type HandlerFunc func(ResponseWriter, *Request) 实现了Handler接口的类
Golang redis 学习指南.docx
05-15
### Golang Redis 学习指南知识点详解 #### 一、Redis简介与应用场景 Redis是一种开源的内存中的数据结构存储系统，它可以作为数据库、缓存和消息中间件使用。Redis不仅支持简单的键值对存储，还提供了多种数据...
React + Golang + Redis + Mysql 用于业余学习Web相关知识。.zip
02-22
3. `kwan1117/redis_scripts`：Redis的相关脚本，例如设置键值、操作数据或执行原子操作。 4. `kwan1117/mysql_schema.sql`：MySQL数据库的表结构定义和初始化数据。 5. `kwan1117/docker-compose.yml`：可能使用...
【超全golang面试题合集+golang学习指南+golang知识图谱+入门成长路线】
最新发布
08-07
redis等)+机器学习库+算法库+游戏库+开源框架+自然语言处理nlp库+网络库+视频库+微服务框架+视频教程+音频音乐库+图形图片库+物联网库+地理位置信息+嵌入式脚本库+编译器库+数据库+金融库+电子邮件库+电子书籍+分词+...
redis和linux和httpclient的关联
qq_765943201的博客
03-18 1129
jsp*你好，请问一下，
redis
xixlxl的博客
04-28 1710
redis需要lnmp架构 host5为redis host6为数据库 host7为lnmp架构 host7操作lnmp架构 1：安装php-fpm，nginx基本配置 yum install nginx-1.8.0-1.el6.ngx.x86_64.rpm php-5.3.3-38.el6.x86_64.rpm php-cli-5.3.3-38.el6.x86_64.r...
tornado-redis 普通HTTP请求
hfrommane的博客
01-26 348
我们通常会使用tornado-redis（项目地址：https://github.com/leporo/tornado-redis）来做基于Redis的WebSocket应用，但是在WebSocket应用中，我们还会有普通HTTP请求的需求。那么如何处理这个需求呢？ 首先增加一个类，请求方式为POST（GET请求方式类似），数据格式为JSON，我们直接看代码： class NormalMessageHandler(tornado.web.RequestHandler): def post(self)
python 基于http方式与基于redis方式传输摄像头图片数据的实现和对比
qq_30841655的博客
09-01 2062
这里的redis方式具体指的是，redis是一个内存数据库，通过键值对存储数据，通过订阅/发布机制传递消息，所以将图片字节流数据存入redis中，并将存入消息发布出去，实现发送效果。在不同进程或者不同语言间传递摄像头图片数据，比如从java实现的代码中获取摄像头画面数据，将其传递给python实现的算法代码中进行处理。思路：通过redis数据库的消息监听机制，当接收到数据入库消息，则提取图片字节流数据，并将其处理为opencv格式的图片数据，从而做到显示。若要提高速度，可取消base64的加密过程；
从Redis、HTTP协议，看Nett协议设计，我发现了个惊天大秘密
博学谷狂野架构师的博客
01-03 1190
组成要素魔数：用来在第一时间判定接收的数据是否为无效数据包版本号：可以支持协议的升级序列化算法：消息正文到底采用哪种序列化反序列化方式如：json、protobuf、hessian、jdk指令类型：是登录、注册、单聊、群聊… 跟业务相关请求序号：为了双工通信，提供异步能力正文长度消息正文这需要根据自定义的 handler 的处理逻辑进行分析。
【go/实践】(二)http服务器上使用redis
o0o
08-03 600
文章目录说在前面实验要求 说在前面 实验环境：【go/vscode】远程环境搭建(离线版/gopls版) 客户端环境：chrome 84.0.4 实验要求 在上一节的基础上，要求服务器能够存储客户请求的值。
redis缓存_HTTP缓存与Spring示例
cunhu2961的博客
01-04 250
redis缓存 缓存是HTTP协议的强大功能，但由于某些原因，它主要用于静态资源，例如图像，CSS样式表或JavaScript文件。 但是，HTTP缓存不仅限于应用程序的资产，因为您还可以将其用于动态计算的资源。 只需少量工作，您就可以加速应用程序并改善整体用户体验。 在本文中，您将学习如何对Spring控制器的结果使用内置的HTTP响应缓存机制。 1.如何以及何时使用HTTP响应缓存？ 您...
redis以及httpclient配置
天之大
09-10 1132
记得在spring主配置文件里加载此文件 httpclients： <bean id="httpClientConnectionManager" class="org.apache.http.impl.conn.PoolingHttpClientConnectionManager" destroy-method="shutdown"> <!-- 设置最大...
redis客户端redisson实战
热门推荐
猿类崛起
10-16 20万+
  redis 学习问题总结 http://aperise.iteye.com/blog/2310639 ehcache memcached redis 缓存技术总结 http://aperise.iteye.com/blog/2296219 redis-stat 离线安装 http://aperise.iteye.com/blo...
golang redis 缓存数据
06-01
要在 Golang 中使用 Redis 缓存数据，首先需要使用 Go Redis 客户端库。可以使用以下命令安装： ``` go get github.com/go-redis/redis ``` 然后，你可以使用以下代码片段进行连接和简单操作： ```go import ( ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值