自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

hugo_lei的博客

在这里,助力你快速成长

  • 博客(77)
  • 收藏
  • 关注

原创 LLM大语言模型(十六):最新开源 GLM4-9B 本地部署,带不动,根本带不动

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中,GLM-4-9B及其人类偏好对齐的版本GLM-4-9B-Chat均表现出超越 Llama-3-8B 的卓越性能。

2024-06-05 23:35:37 11570 22

原创 LLM大语言模型(十五):LangChain的Agent中使用自定义的ChatGLM,且底层调用的是remote的ChatGLM3-6B的HTTP服务

本文搭建了一个完整的LangChain的Agent,调用本地启动的ChatGLM3-6B的HTTP server。为后续的RAG做好了准备。

2024-05-10 05:33:57 1613 2

原创 Prometheus核心概念:一图了解瞬时向量Instant vector和区间向量Range vector的区别

1 背景我们在查询Prometheus的时候,通常有两种方式,一种是查瞬时的Metric采样数据,一种是查一段时间范围内的Metric采样数据。如果对这两种查询方式理解不到位,结果往往是对PromQL的一些内置函数的使用是错误的,或者查询的结果并不是自己预期的那样。那都是查Metric采样数据,查询瞬时和查询一段时间范围内这两种方式有什么区别呢?2 图解Metric和采样Prometheus和Exporter的关系在上一篇文章Prometheus源码分析:基于Go Client自定义的E

2021-01-30 11:07:15 7698 3

原创 Prometheus源码分析:基于Go Client自定义的Exporter,是如何在Local存储Metrics的?

目录背景什么是Exporter?Prometheus以轮询的方式Pull拉取MetricsTarget是如何在本地存储Metrics的?基于Go Client开发的ExporterCounter类型Metric源码分析声明Counter类型变量Counter类型定义counter.go WithLabelValues方法counter.goGetMetricWithLabelValues方法vec.goGetMetricWithLabelValues...

2021-01-22 16:03:29 4265 8

原创 一张图掌握Volcano Device plugin的核心,压箱底

一张图掌握Volcano Device plugin的核心

2024-06-05 23:57:21 755

原创 Llama(二):Open WebUI作为前端界面,使用本机的llama3

Open WebUI是一个可扩展、功能丰富、用户友好的自托管WebUI,旨在完全离线操作。它支持各种LLM运行程序,包括Ollama和OpenAI兼容的API。

2024-06-02 19:08:03 2125

原创 Llama(一):Mac M1芯片运行Llama3

在Mac M1 16G内存环境中,部署并使用Llama3 8B

2024-06-02 19:01:10 1054

原创 RAG概述(二):Advanced RAG 高级RAG

Native RAG(基础RAG)体现了RAG开发范式的骨架,也即三段论Indexing-Retrieval-Generation。Advanced RAG聚焦在检索增强,增加了Pre-Retrieval预检索和Post-Retrieval后检索阶段。

2024-05-26 16:47:03 1673 1

原创 RAG概述(一):RAG架构的演进

RAG:Retrieval-Augmented Generation 检索增强生成。RAG通过结合LLMs的内在知识和外部数据库的非参数化数据,提高了模型在知识密集型任务中的准确性和可信度。。RAG的发展经历了三个主要阶段:初级(Native RAG)、高级(Advanced RAG)和模块化RAG(Modular RAG)。

2024-05-26 16:44:05 2311

原创 LLM大语言模型(十四):LangChain中Tool的不同定义方式,对prompt的影响

LangChain中Tool的不同定义方式,对prompt的影响

2024-05-10 05:35:22 1225

原创 干,我的创作纪念日

机缘:为什么我不能写呢?就是干收获:越干越有劲日常:日拱一卒的干成就:可持续的干憧憬:最后一篇文章写我的墓志铭

2024-04-28 17:46:47 149

原创 LLM大语言模型(十三):ChatGLM3-6B兼容Langchain的Function Call的一步一步的详细转换过程记录

ChatGLM3-6B兼容Langchain的Function Call的一步一步的详细转换过程记录

2024-04-24 23:29:21 1327 4

原创 LLM大语言模型(十二):关于ChatGLM3-6B不兼容Langchain 的Function Call

ChatGLM3-6B适配LangChain的Function Call.

2024-04-24 23:19:24 1631 2

原创 小说(一):艾莉亚的复仇

在一个被战争撕裂的王国,住着一位名叫艾莉亚的年轻女子。她以其火红的头发和锐利的目光而闻名,但最为人所知的是她那不屈不挠的意志。

2024-04-11 21:20:21 331

原创 LLM大语言模型(十一):基于自定义的ChatGLM3-6B构建LangChain的chain

Chain是静态的是提前定义好的执行流程,执行完step1然后执行step2.Agent是动态的,Agent在执行时LLM可以自行决定使用合适的step(tool)。

2024-04-08 23:46:21 1366

原创 LLM大语言模型(十):LangChain自定义Agent使用自定义的LLM

独立部署ChatGLM3-6B并提供HTTP API能力。自定义LLM封装对ChatGLM3-6B的访问。创建一个简单的Agent来使用自定义的LLM。

2024-04-07 00:09:37 2242

原创 LLM大语言模型(九):LangChain封装自定义的LLM

想基于ChatGLM3-6B用LangChain做LLM应用,需要先了解下LangChain中对LLM的封装。本文以一个hello world的封装来示例。

2024-04-06 09:00:00 1322

原创 LLM大语言模型(八):ChatGLM3-6B使用的tokenizer模型BAAI/bge-large-zh-v1.5

BGE embedding系列模型是由智源研究院研发的中文版文本表示模型。可将任意文本映射为低维稠密向量,以用于检索、分类、聚类或语义匹配等任务,并可支持为大模型调用外部知识。

2024-03-31 22:45:08 3747

原创 LLM资料:中文embedding库

理解LLM,就要理解Transformer,但其实最基础的还是要从词的embedding讲起。毕竟计算机能处理的只有数字,所以万事开头的第一步就是将要处理的任务转换为数字。

2024-03-28 20:00:52 1092

原创 LLM应用:Prompt flow vs LangChain

Prompt flow提供了一套开发工具,并通过实验来构建高质量的LLM应用程序,而不是一套框架(LangChain)

2024-03-27 22:00:59 1034

原创 LLM大语言模型(七):部署ChatGLM3-6B并提供HTTP server能力

部署ChatGLM3-6B并对外提供HTTP server能力

2024-03-16 21:23:39 1587

原创 ChatGLM3-6B独立部署提供HTTP服务failed to open nvrtc-builtins64_121.dll

RuntimeError: nvrtc: error: failed to open nvrtc-builtins64_121.dll. Make sure that nvrtc-builtins64_121.dll is installed correctly.

2024-03-16 18:09:01 1107

原创 Ray:Environment Dependencies Remote URIs

Ray的remote uri

2024-03-06 17:56:05 380

原创 Ray:Object creation will fail if spilling is required

在本地搭建了Ray的单节点服务,提交任务后,Ray报错提示空间不够报错信息如下:(raylet) [2023-03-24 11:06:38,311 E 821713 821740] (raylet) file_system_monitor.cc:105:/tmp/ray/session_2023-03-24_11-03-06_248168_820779 is over 95% full,available space: 5726846976; capacity: 1006449913856.Object c

2024-03-05 10:47:54 796

原创 程序员利器(一):【Mos】针对Mac的鼠标滚动平滑

解决雷蛇鼠标在Mac上的滚轮回滚问题。

2024-03-05 10:37:07 3426

原创 LLM大语言模型(六):RAG模式下基于PostgreSQL pgvector插件实现vector向量相似性检索

在LLM的RAG场景下,使用PostgreSQL+pgvector插件,作为向量数据的管理后端,简单高效。

2024-02-07 16:19:46 1130

原创 LLM大语言模型(五):用streamlit开发LLM应用

使用streamlit快速开发LLM demo应用。

2024-01-28 23:06:04 2394

原创 LLM大语言模型(四):在ChatGLM3-6B中使用langchain

本文介绍了在ChatGLM3-6B中使用LangChain的案例。

2024-01-01 18:36:29 4736 5

原创 LLM大语言模型(三):使用ChatGLM3-6B的函数调用功能前先学会Python的装饰器

本文介绍了如何在ChatGLM3-6B中使用自定义函数,来扩展大模型的能力。

2023-12-24 20:20:40 2835 9

原创 LLM大语言模型(二):Streamlit 无需前端经验也能画web页面

Streamlit提供了一种非常便捷且高效的方式,让后端开发也能轻松的画出来简单的web页面。特别适合LLM这种页面比较简单的场景。

2023-12-17 11:27:15 3062

原创 LLM大语言模型(一):ChatGLM3-6B本地部署

LLM大语言模型工程化,在本地搭建一套开源的LLM,方便后续的Agent等特性的研究。

2023-12-03 17:25:03 5006 6

原创 文档向量化工具(二):text2vec介绍

在上一篇文章中介绍了,使用Apache Tika从不同格式的文件里提取文本信息。本篇文章将介绍,如何将提取出的文本信息转换为vector,以便后续基于vector做相似性检索。

2023-11-26 20:51:32 5788

原创 文档向量化工具(一):Apache Tika介绍

Apache Tika是一个内容分析工具包。该工具包可以从一千多种不同的文件类型(如PPT、XLS和PDF)中检测并提取元数据和文本。所有这些文件类型都可以通过同一个接口进行解析,这使得Tika在搜索引擎索引、内容分析、翻译等方面非常有用。

2023-11-19 11:27:18 2403

原创 AI视觉领域流媒体知识入门介绍(二):深入理解GOP

对GOP的理解,要基于视频编解码的基本原理来。

2023-11-05 22:15:36 327

原创 AI视觉领域流媒体知识入门介绍(一)

AI视觉领域流媒体知识入门介绍,介绍了常见的视频传输协议,和流媒体处理框架。

2023-10-29 18:18:11 320

原创 k8s异常Too many requests: Too many requests, please try again later.

k8s异常Too many requests: Too many requests, please try again later. 梳理了k8s常见的限流措施。

2023-10-26 11:18:41 1452

原创 ffmpeg-go库的介绍

本质上ffmpeg-go是对命令行ffmpeg工具的封装,最终功能的实现都是通过在go里执行命令行工具来实现。在go代码中调用ffprobe命令行工具。

2023-10-15 23:09:49 1650

原创 目标追踪算法DeepSORT简介

目标追踪算法DeepSORT的入门理解。

2023-10-09 11:23:13 288

原创 开源的跨平台的音视频处理工具FFmpeg

FFmpeg是一个开源的跨平台的音视频处理工具,可以对音频、视频进行转码、裁剪、调节音量、添加水印等操作。广泛的格式支持。FFmpeg能够解码、编码、转码、复用、分离、流式传输、过滤和播放几乎人类和机器所创造的任何内容。它支持最古老且晦涩难懂的格式,也支持最前沿的技术。无论这些格式是由标准委员会、社区还是公司设计,都可以得到支持。高度可移植性。FFmpeg在各种构建环境、机器架构和配置下,在Linux、Mac OS X、Microsoft Windows以及BSDs和Solaris等操作系统上进行编译运行。

2023-07-29 23:36:44 1301

原创 我是怎么在golang里实现单例的

本文介绍了go语言基于sync.Once()实现单例模式的实战方法。

2022-10-26 18:59:30 818 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除