L2-LMDeploy 量化部署进阶实践-任务

于 2024-08-22 18:02:34 发布
阅读量492 收藏 18
点赞数 8
文章标签： ai 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/soul_sniper/article/details/141370529
版权

1 配置LMDeploy环境

点选开发机，自拟一个开发机名称，选择Cuda12.2-conda镜像。

我们要运行参数量为7B的InternLM2.5，由InternLM2.5的码仓查询InternLM2.5-7b-chat的config.json文件可知，该模型的权重被存储为bfloat16格式

img

对于一个7B（70亿）参数的模型，每个参数使用16位浮点数（等于 2个 Byte）表示，则模型的权重大小约为：

7×10^9 parameters×2 Bytes/parameter=14GB

70亿个参数×每个参数占用2个字节=14GB

所以我们需要大于14GB的显存，选择 30%A100*1(24GB显存容量)，后选择立即创建，等状态栏变成运行中，点击进入开发机，我们即可开始部署。

在终端中，让我们输入以下指令，来创建一个名为lmdeploy的conda环境，python版本为3.10，创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。

conda create -n lmdeploy  python=3.10 -y
conda activate lmdeploy
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
pip install timm==1.0.8 openai==1.40.3 lmdeploy[all]==0.5.3

1.2 InternStudio环境获取模型

为方便文件管理，我们需要一个存放模型的目录，本教程统一放置在/root/models/目录。

运行以下命令，创建文件夹并设置开发机共享目录的软链接。

mkdir /root/models
ln -s /root/share/new_models//Shanghai_AI_Laboratory/internlm2_5-7b-chat /root/models
ln -s /root/share/new_models/OpenGVLab/InternVL2-26B /root/models

此时，我们可以看到/root/models中会出现internlm2_5-7b-chat和InternVL2-26B文件夹。

1.3 LMDeploy验证启动模型文件

在量化工作正式开始前，我们还需要验证一下获取的模型文件能否正常工作，以免竹篮打水一场空。

让我们进入创建好的conda环境并启动InternLM2_5-7b-chat！

conda activate lmdeploy
lmdeploy chat /root/models/internlm2_5-7b-chat

此时，我们可以在CLI(“命令行界面” Command Line Interface的缩写)中和InternLM2.5尽情对话了，注意输入内容完成后需要按两次回车才能够执行，以下为示例。

提问时，资源占用情况：

这里用的是80GB的显卡，即A100，权重占用14GB，剩余显存80-14=66GB，因此kv cache占用66GB*0.8=52.8GB，加上原来的权重14GB，总共占用66.8GB。

实际加载模型后，其他项也会占用部分显存，因此剩余显存比理论偏低，实际占用会略高于66.8GB。

2 LMDeploy与InternLM2.5

2.1 LMDeploy API部署InternLM2.5

在上一章节，我们直接在本地部署InternLM2.5。而在实际应用中，我们有时会将大模型封装为API接口服务，供客户端访问。

2.1.1 启动API服务器

首先让我们进入创建好的conda环境，并通下命令启动API服务器，部署InternLM2.5模型：

conda activate lmdeploy
lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

命令解释：

  1. lmdeploy serve api_server：这个命令用于启动API服务器。
  2. /root/models/internlm2_5-7b-chat：这是模型的路径。
  3. --model-format hf：这个参数指定了模型的格式。hf代表“Hugging Face”格式。
  4. --quant-policy 0：这个参数指定了量化策略。
  5. --server-name 0.0.0.0：这个参数指定了服务器的名称。在这里，0.0.0.0是一个特殊的IP地址，它表示所有网络接口。
  6. --server-port 23333：这个参数指定了服务器的端口号。在这里，23333是服务器将监听的端口号。
  7. --tp 1：这个参数表示并行数量（GPU数量）。

稍后可以看到启动成功：

通过ssh隧道开启本地端口，访问页面。

2.1.2 以命令行形式连接API服务器

关闭http://127.0.0.1:23333网页，但保持终端和本地窗口不动，用SSH终端重新连接开发机。

运行如下命令，激活conda环境并启动命令行客户端。

conda activate lmdeploy
lmdeploy serve api_client http://localhost:23333

稍待片刻，等出现double enter to end input >>>的输入提示即启动成功，此时便可以随意与InternLM2.5对话，同样是两下回车确定，输入exit退出。

2.1.3 以Gradio网页形式连接API服务器

保持第一个终端不动，在新建终端中输入exit退出。

输入以下命令，使用Gradio作为前端，启动网页。

lmdeploy serve gradio http://localhost:23333 \
    --server-name 0.0.0.0 \
    --server-port 6006

当然，6006端口也要通过SSH隧道映射到本地，稍待片刻，等终端如下图所示便保持两个终端不动。

打开浏览器访问本地gradio

2.2 LMDeploy Lite

随着模型变得越来越大，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。LMDeploy 提供了权重量化和 k/v cache两种策略。

2.2.1 设置最大kv cache缓存大小

kv cache是一种缓存技术，通过存储键值对的形式来复用计算结果，以达到提高性能和降低内存消耗的目的。在大规模训练和推理中，kv cache可以显著减少重复计算量，从而提升模型的推理速度。理想情况下，kv cache全部存储于显存，以加快访存速度。

模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、kv cache占用的显存，以及中间运算结果占用的显存。LMDeploy的kv cache管理器可以通过设置--cache-max-entry-count参数，控制kv缓存占用剩余显存的最大比例。默认的比例为0.8。

首先我们先来回顾一下InternLM2.5正常运行时占用显存。

占用68G，那么试一试执行以下命令，再来观看占用显存情况。

lmdeploy chat /root/models/internlm2_5-7b-chat --cache-max-entry-count 0.4

稍待片刻，观测显存占用情况，可以看到减少了约26GB的显存。

让我们计算一下26GB显存的减少缘何而来，

对于修改kv cache默认占用之前，即如1.3 LMDeploy验证启动模型文件所示直接启动模型的显存占用情况(68GB)：

1、在 BF16 精度下，7B模型权重占用14GB：7×10^9 parameters×2 Bytes/parameter=14GB

2、kv cache占用52.8GB：剩余显存80-14=66GB，kv cache默认占用80%，即66*0.8=52.8GB

3、其他项1GB

是故68GB=权重占用14GB+kv cache占用52.8GB+其它项1GB

对于修改kv cache占用之后的显存占用情况(42GB)：

1、与上述声明一致，在 BF16 精度下，7B模型权重占用14GB

2、kv cache占用26.4GB：剩余显存80-14=66GB，kv cache修改为占用40%，即66*0.4=26.4GB

3、其他项1GB

是故41.4GB=权重占用14GB+kv cache占用26.4GB+其它项1GB

而此刻减少的26GB显存占用就是从66GB*0.8-66GB*0.4=26.4GB，这里计算得来。

2.2.2 设置在线 kv cache int4/int8 量化

自 v0.4.0 起，LMDeploy 支持在线 kv cache int4/int8 量化，量化方式为 per-head per-token 的非对称量化。此外，通过 LMDeploy 应用 kv 量化非常简单，只需要设定 quant_policy 和cache-max-entry-count参数。目前，LMDeploy 规定 qant_policy=4 表示 kv int4 量化，quant_policy=8 表示 kv int8 量化。

我们通过 2.1 LMDeploy API部署InternLM2.5 的实践为例，输入以下指令，启动API服务器。

lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat \
    --model-format hf \
    --quant-policy 4 \
    --cache-max-entry-count 0.4\
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

稍待片刻，显示如下即代表服务启动成功。

​

可以看到此时显存占用约42GB，相较于1.3 LMDeploy验证启动模型文件直接启动模型的显存占用情况(23GB)减少了4GB的占用。此时4GB显存的减少逻辑与1.3 LMDeploy验证启动模型文件一致，均因设置kv cache占用参数cache-max-entry-count至0.4而减少了4GB显存占用。

让我们计算一下2GB显存的减少缘何而来。

对于W4A16量化之前，即如1.3 LMDeploy验证启动模型文件所示直接启动模型的显存占用情况(68GB)：

1、在 BF16 精度下，7B模型权重占用14GB：70×10^9 parameters×2 Bytes/parameter=14GB

2、kv cache占用52.8GB：剩余显存80-14=66GB，kv cache默认占用80%，即66*0.8=52.8GB

3、其他项1GB

是故68GB=权重占用14GB+kv cache占用52.8GB+其它项1GB

而对于W4A16量化之后的显存占用情况(66GB)：

1、在 int4 精度下，7B模型权重占用3.5GB：14/4=3.5GB

注释：

  • bfloat16是16位的浮点数格式，占用2字节（16位）的存储空间。int4是4位的整数格式，占用0.5字节（4位）的存储空间。因此，从bfloat16到int4的转换理论上可以将模型权重的大小减少到原来的1/4，即7B个int4参数仅占用3.5GB的显存。

2、kv cache占用61.2GB：剩余显存80-3.5=76.5GB，kv cache默认占用80%，即76.5*0.8=61.2GB

3、其他项1GB

是故65.7GB=权重占用3.5GB+kv cache占用61.2GB+其它项1GB

2.2.4 W4A16 量化+ KV cache+KV cache 量化

我知道你们肯定有人在想，介绍了那么多方法，能不能全都要？当然可以！

输入以下指令，让我们同时启用量化后的模型、设定kv cache占用和kv cache int4量化。

lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat-w4a16-4bit/ \
    --model-format awq \
    --quant-policy 4 \
    --cache-max-entry-count 0.4\
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

只占用：36G

3 LMDeploy与InternVL2

本次实践选用InternVL2-26B进行演示，其实就根本来说作为一款VLM和上述的InternLM2.5在操作上并无本质区别，仅是多出了"图片输入"这一额外步骤，但作为量化部署进阶实践，选用InternVL2-26B目的是带领大家体验一下LMDeploy的量化部署可以做到何种程度。

3.1 LMDeploy Lite

InternVL2-26B需要约70+GB显存，但是为了让我们能够在30%A100上运行，需要先进行量化操作，这也是量化本身的意义所在——即降低模型部署成本。

3.1.1 W4A16 模型量化和部署

针对InternVL系列模型，让我们先进入conda环境，并输入以下指令，执行模型的量化工作。(本步骤耗时较长，请耐心等待)

lmdeploy lite auto_awq \
   /root/models/InternVL2-26B \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 2048 \
  --w-bits 4 \
  --w-group-size 128 \
  --batch-size 10 \
  --search-scale False \
  --work-dir /root/models/InternVL2-26B-w4a16-4bit

等终端输出如下时，说明正在推理中，稍待片刻。

3.1.2 W4A16 量化+ KV cache+KV cache 量化

输入以下指令，让我们启用量化后的模型。

lmdeploy serve api_server \
    /root/models/InternVL2-26B-w4a16-4bit \
    --model-format awq \
    --quant-policy 4 \
    --cache-max-entry-count 0.1\
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

启动后观测显存占用情况，此时只需要约29GB的显存，已经是一张30%A100即可部署的模型了。

3.2 LMDeploy API部署InternVL2

具体封装操作与之前大同小异，仅仅在数个指令细节上作调整，故本章节大部分操作与2.1 LMDeploy API部署InternLM2.5中几近完全一样，同学们可自行"依葫芦画瓢"，以下教程仅做参考。

通过以下命令启动API服务器，部署InternVL2模型：

lmdeploy serve api_server \
    /root/models/InternVL2-26B-w4a16-4bit/ \
    --model-format awq \
    --quant-policy 4 \
    --cache-max-entry-count 0.6 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

其余步骤与2.1.1 启动API服务器剩余内容一致。

命令行形式、Gradio网页形式连接操作与

2.1.2 以命令行形式连接API服务器

2.1.3 以Gradio网页形式连接API服务器

步骤流程、指令完全一致，不再赘述。

以下为Gradio网页形式连接成功后对话截图。

4 LMDeploy之FastAPI与Function call

之前在2.1.1 启动API服务器与3.2 LMDeploy API部署InternVL2均是借助FastAPI封装一个API出来让LMDeploy自行进行访问，在这一章节中我们将依托于LMDeploy封装出来的API进行更加灵活更具DIY的开发。

4.1 API开发

与之前一样，让我们进入创建好的conda环境并输入指令启动API服务器。

conda activate lmdeploy
lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat-w4a16-4bit \
    --model-format awq \
    --cache-max-entry-count 0.4 \
    --quant-policy 4 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

保持终端窗口不动，新建一个终端。 

在新建终端中输入如下指令，新建internlm2_5.py。

touch /root/internlm2_5.py

 

将以下内容复制粘贴进internlm2_5.py。

# 导入openai模块中的OpenAI类，这个类用于与OpenAI API进行交互
from openai import OpenAI


# 创建一个OpenAI的客户端实例，需要传入API密钥和API的基础URL
client = OpenAI(
    api_key='YOUR_API_KEY',  
    # 替换为你的OpenAI API密钥，由于我们使用的本地API，无需密钥，任意填写即可
    base_url="http://0.0.0.0:23333/v1"  
    # 指定API的基础URL，这里使用了本地地址和端口
)

# 调用client.models.list()方法获取所有可用的模型，并选择第一个模型的ID
# models.list()返回一个模型列表，每个模型都有一个id属性
model_name = client.models.list().data[0].id

# 使用client.chat.completions.create()方法创建一个聊天补全请求
# 这个方法需要传入多个参数来指定请求的细节
response = client.chat.completions.create(
  model=model_name,  
  # 指定要使用的模型ID
  messages=[  
  # 定义消息列表，列表中的每个字典代表一个消息
    {"role": "system", "content": "你是一个友好的小助手，负责解决问题."},  
    # 系统消息，定义助手的行为
    {"role": "user", "content": "帮我讲述一个关于狐狸和西瓜的小故事"},  
    # 用户消息，询问时间管理的建议
  ],
    temperature=0.8,  
    # 控制生成文本的随机性，值越高生成的文本越随机
    top_p=0.8  
    # 控制生成文本的多样性，值越高生成的文本越多样
)

# 打印出API的响应结果
print(response.choices[0].message.content)

按Ctrl+S键保存（Mac用户按Command+S）。

现在让我们在新建终端输入以下指令激活环境并运行python代码。

conda activate lmdeploy
python /root/internlm2_5.py

终端会输出如下结果。

 查看api_server输出：表示已经接收到请求并正常返回结果。

4.2 Function call

关于Function call，即函数调用功能，它允许开发者在调用模型时，详细说明函数的作用，并使模型能够智能地根据用户的提问来输入参数并执行函数。完成调用后，模型会将函数的输出结果作为回答用户问题的依据。

首先让我们进入创建好的conda环境并启动API服务器。

conda activate lmdeploy
lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

目前LMDeploy在0.5.3版本中支持了对InternLM2, InternLM2.5和llama3.1这三个模型，故我们选用InternLM2.5 封装API。

让我们使用一个简单的例子作为演示。输入如下指令，新建internlm2_5_func.py。

touch /root/internlm2_5_func.py

双击打开，并将以下内容复制粘贴进internlm2_5_func.py。

from openai import OpenAI


def add(a: int, b: int):
    return a + b


def mul(a: int, b: int):
    return a * b


tools = [{
    'type': 'function',
    'function': {
        'name': 'add',
        'description': 'Compute the sum of two numbers',
        'parameters': {
            'type': 'object',
            'properties': {
                'a': {
                    'type': 'int',
                    'description': 'A number',
                },
                'b': {
                    'type': 'int',
                    'description': 'A number',
                },
            },
            'required': ['a', 'b'],
        },
    }
}, {
    'type': 'function',
    'function': {
        'name': 'mul',
        'description': 'Calculate the product of two numbers',
        'parameters': {
            'type': 'object',
            'properties': {
                'a': {
                    'type': 'int',
                    'description': 'A number',
                },
                'b': {
                    'type': 'int',
                    'description': 'A number',
                },
            },
            'required': ['a', 'b'],
        },
    }
}]
messages = [{'role': 'user', 'content': 'Compute (3+5)*2'}]

client = OpenAI(api_key='YOUR_API_KEY', base_url='http://0.0.0.0:23333/v1')
model_name = client.models.list().data[0].id
response = client.chat.completions.create(
    model=model_name,
    messages=messages,
    temperature=0.8,
    top_p=0.8,
    stream=False,
    tools=tools)
print(response)
func1_name = response.choices[0].message.tool_calls[0].function.name
func1_args = response.choices[0].message.tool_calls[0].function.arguments
func1_out = eval(f'{func1_name}(**{func1_args})')
print(func1_out)

messages.append({
    'role': 'assistant',
    'content': response.choices[0].message.content
})
messages.append({
    'role': 'environment',
    'content': f'3+5={func1_out}',
    'name': 'plugin'
})
response = client.chat.completions.create(
    model=model_name,
    messages=messages,
    temperature=0.8,
    top_p=0.8,
    stream=False,
    tools=tools)
print(response)
func2_name = response.choices[0].message.tool_calls[0].function.name
func2_args = response.choices[0].message.tool_calls[0].function.arguments
func2_out = eval(f'{func2_name}(**{func2_args})')
print(func2_out)

按Ctrl+S键保存（Mac用户按Command+S）。

现在让我们输入以下指令运行python代码。

python /root/internlm2_5_func.py

稍待片刻终端输出如下。

我们可以看出InternLM2.5将输入'Compute (3+5)*2'根据提供的function拆分成了"加"和"乘"两步，第一步调用function add实现加，再于第二步调用function mul实现乘，再最终输出结果16.

soul_sniper
关注
  • 8
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【深度学习】InternVL2-8B，图转文，docker部署
q742971636的博客
07-17 608
执行这个代码可以开启一个fastapi接口，7860端口会被docker映射到7895.InternVL2-26B应该更好，但显存没那么大，只能跑InternVL2-8B了。
LMDeploy 量化部署进阶实践-进阶
wtt88的专栏
08-17 661
1 配置基础环境在资源配置中，的选项，如果使用。
InternVL2 Docker 镜像使⽤说明
人工智能曾小健
08-05 743
这部分⽤于告诉 Docker 运⾏的容器可以访问所有可⽤的 GPU。本⽂旨在为⽤⼾提供⼀个⽅便的⽅式来配置所需的 Python 环境，以便运⾏InternVL2。Docker，⽤⼾可以在隔离的容器中轻松设置和管理依赖项，⽆需担⼼与系统环境的冲突或其他依赖问。如果您的容器需要通过代理访问互联⽹，可以在此设置代理地址。⾸先，在有互联⽹连接的机器上构建 Docker 镜像。步骤 1：在本地机器上加载 Docker 镜像。问，⽤于指定要使⽤的 CUDA 设备编号。这是⽤于运⾏容器的 Docker 命令。
Cli Demo、Streamlit Web Demo部署 InternLM2-Chat-1.8B 模型
qq_62780581的博客
08-05 307
使用 Cli Demo 完成 InternLM2-Chat-1.8B 模型的部署，并生成 300 字小故事，记录复现过程并截图。
卷卷卷！新的开源多模态大模型王者来啦，从量化到部署用 lmdeploy 把它运行起来吧
arkohut的博客
07-09 1008
上海人工智能实验室最近发布了一系列的开源模型，这次我就介绍下怎么使用 lmdeploy 去部署 InternVL2 8B 多模态模型。之所以使用 8B 的这个模型（而不是其他的尺寸的模型）有两个原因，第一、8B 的模型使用了最新的 internlm 2.5 7B，第二、8B 的规模刚好可以在一个 24G 显存的消费显卡里运行起来。下一个尺寸的模型就是 26B 的了，已经不太好在消费显卡上运行了。
L2-LMDeploy 量化部署进阶实践
weixin_51449774的博客
08-19 763
模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、kv cache占用的显存，以及中间运算结果占用的显存。本次实践选用InternVL2-26B进行演示，其实就根本来说作为一款VLM和上述的InternLM2.5在操作上并无本质区别，仅是多出了"图片输入"这一额外步骤，但作为量化部署进阶实践，选用InternVL2-26B目的是带领大家体验一下LMDeploy的量化部署可以做到何种程度。int4是4位的整数格式，占用0.5字节（4位）的存储空间。(本步骤耗时较长，预计6h，请耐心等待)
进阶岛 LMDeploy 量化部署进阶实践
cgq081616的专栏
08-17 963
一、任务价绍二、根据教程，搭建环境2.1、InternStudio环境获取模型2.2、请帮我生成大禹治水的小故事2.3、占显存说明由InternLM2.5 7B模型为bf16，LMDpeloy推理精度为bf16的7B模型权重需要占用显存；如下图所示，lmdeploy默认设置cache-max-entry-count为0.8，即kv cache占用剩余显存的80%；此时对于24GB的显卡，即，权重占用显存，剩余显存，因此kv cache占用，加上原来的权重，总共占用。而对于40GB的显卡，即。
（第三期）书生大模型实战营——LMDeploy量化部署进阶实践
a_blade_of_grass的博客
08-12 738
教程原文在。
【书生大模型实战】L2-LMDeploy 量化部署实践闯关任务
cjy_colorful0806的博客
08-15 742
注释：实验室提供的环境为虚拟化的显存，nvidia-smi是NVIDIA GPU驱动程序的一部分，用于显示NVIDIA GPU的当前状态，故当前环境只能看80GB单卡 A100 显存使用情况，无法观测虚拟化后30%或50%A100等的显存情况。模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、kv cache占用的显存，以及中间运算结果占用的显存。让我们回到LMDeploy，在最新的版本中，LMDeploy使用的是AWQ算法，能够实现模型的4bit权重量化。输入以下指令，执行量化工作。
v4l2-ctl工具
10-10
v4l2-ctl命令： //显示Camera所有信息(分辨率:Width/Height) # v4l2-ctl -d /dev/video0 --all //显示Camera信息 # v4l-ctl -D //查看支持的设备 # v4l2-ctl --list-devices *** *** ***
api-ms-win-downlevel-kernel32-l2-1-0.dll
03-13
将下载完的System32/api-ms-win-downlevel-kernel32-l2-1-0.dll 以及SysWOW64/api-ms-win-downlevel-kernel32-l2-1-0.dll解压到c:/Windows下
v4l2-dev.rar_Capture_v4l2-dev
09-21
本文将深入探讨V4L2捕获接口的原理和应用，以及如何通过源代码`v4l2-dev.c`进行实际操作。 V4L2捕获接口是V4L2框架的一部分，主要负责从视频捕获设备（如摄像头）获取原始视频数据。这个接口提供了设置设备参数、...
vios_l2-adventerprisek9-m.03.2017.qcow2
07-31
思科2层交换机模拟镜像，GNS3支持，亲测有效，Cisco IOSvL2。思科2层交换机模拟镜像，GNS3支持，亲测有效，Cisco IOSvL2。
camset:v4l2-ctl的GUI
05-25
example_ioctl文件夹包含使用v4l2 Python绑定库读取和设置V4L值（等效于v4l2-ctl --list-formats-ext ， v4l2-ctl -L和v4l2-ctl -c ）的直接ioctl调用的一些示例。 对该库进行了少许修改，以使其与最新的Python版本...
哈希原理(笔记)
m0_62024160的博客
08-17 1122
尤其应该注意Hash function的设计，它是一个难点，Hash funtion设计好坏直接关乎哈希表查询速度的快慢。考虑到哈希碰撞(涉及到对链表的操作)，所以最坏的时间复杂度都是O(n)。早期的md5被破解也是因为人们搞清楚了它的加密方法 f(1) )大多利用单向散列函数函数。(简称为f(2) )计算查询哈希碰撞确认某个哈希值的存在，但是无法通过 f(2)逆推出明文(因为 f(2)只是验证方法，而非解密方法)。(本图来源：wiki)这个签名是由文件的散列值通过发布者的私钥加密生成的。
Freertos学习笔记
最新发布
qq_45031559的博客
08-21 592
Freertos学习笔记
树莓派开发笔记02-树莓派的GPIO口输出控制
wan1234512的博客
08-18 914
本文详细描述了树莓派GPIO编程的3种方式，wiringPi库、BCM2835库、Python库，以及分别使用这几种库进行GPIO的输出控制。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值