- 博客(77)
- 收藏
- 关注
原创 LLM大语言模型(十六):最新开源 GLM4-9B 本地部署,带不动,根本带不动
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中,GLM-4-9B及其人类偏好对齐的版本GLM-4-9B-Chat均表现出超越 Llama-3-8B 的卓越性能。
2024-06-05 23:35:37 12782 22
原创 LLM大语言模型(十五):LangChain的Agent中使用自定义的ChatGLM,且底层调用的是remote的ChatGLM3-6B的HTTP服务
本文搭建了一个完整的LangChain的Agent,调用本地启动的ChatGLM3-6B的HTTP server。为后续的RAG做好了准备。
2024-05-10 05:33:57 1712 2
原创 Prometheus核心概念:一图了解瞬时向量Instant vector和区间向量Range vector的区别
1 背景我们在查询Prometheus的时候,通常有两种方式,一种是查瞬时的Metric采样数据,一种是查一段时间范围内的Metric采样数据。如果对这两种查询方式理解不到位,结果往往是对PromQL的一些内置函数的使用是错误的,或者查询的结果并不是自己预期的那样。那都是查Metric采样数据,查询瞬时和查询一段时间范围内这两种方式有什么区别呢?2 图解Metric和采样Prometheus和Exporter的关系在上一篇文章Prometheus源码分析:基于Go Client自定义的E
2021-01-30 11:07:15 7868 3
原创 Prometheus源码分析:基于Go Client自定义的Exporter,是如何在Local存储Metrics的?
目录背景什么是Exporter?Prometheus以轮询的方式Pull拉取MetricsTarget是如何在本地存储Metrics的?基于Go Client开发的ExporterCounter类型Metric源码分析声明Counter类型变量Counter类型定义counter.go WithLabelValues方法counter.goGetMetricWithLabelValues方法vec.goGetMetricWithLabelValues...
2021-01-22 16:03:29 4317 8
原创 Llama(二):Open WebUI作为前端界面,使用本机的llama3
Open WebUI是一个可扩展、功能丰富、用户友好的自托管WebUI,旨在完全离线操作。它支持各种LLM运行程序,包括Ollama和OpenAI兼容的API。
2024-06-02 19:08:03 2471
原创 RAG概述(二):Advanced RAG 高级RAG
Native RAG(基础RAG)体现了RAG开发范式的骨架,也即三段论Indexing-Retrieval-Generation。Advanced RAG聚焦在检索增强,增加了Pre-Retrieval预检索和Post-Retrieval后检索阶段。
2024-05-26 16:47:03 2064 1
原创 RAG概述(一):RAG架构的演进
RAG:Retrieval-Augmented Generation 检索增强生成。RAG通过结合LLMs的内在知识和外部数据库的非参数化数据,提高了模型在知识密集型任务中的准确性和可信度。。RAG的发展经历了三个主要阶段:初级(Native RAG)、高级(Advanced RAG)和模块化RAG(Modular RAG)。
2024-05-26 16:44:05 2942
原创 LLM大语言模型(十四):LangChain中Tool的不同定义方式,对prompt的影响
LangChain中Tool的不同定义方式,对prompt的影响
2024-05-10 05:35:22 1255
原创 LLM大语言模型(十三):ChatGLM3-6B兼容Langchain的Function Call的一步一步的详细转换过程记录
ChatGLM3-6B兼容Langchain的Function Call的一步一步的详细转换过程记录
2024-04-24 23:29:21 1390 4
原创 LLM大语言模型(十二):关于ChatGLM3-6B不兼容Langchain 的Function Call
ChatGLM3-6B适配LangChain的Function Call.
2024-04-24 23:19:24 1736 2
原创 小说(一):艾莉亚的复仇
在一个被战争撕裂的王国,住着一位名叫艾莉亚的年轻女子。她以其火红的头发和锐利的目光而闻名,但最为人所知的是她那不屈不挠的意志。
2024-04-11 21:20:21 343
原创 LLM大语言模型(十一):基于自定义的ChatGLM3-6B构建LangChain的chain
Chain是静态的是提前定义好的执行流程,执行完step1然后执行step2.Agent是动态的,Agent在执行时LLM可以自行决定使用合适的step(tool)。
2024-04-08 23:46:21 1401
原创 LLM大语言模型(十):LangChain自定义Agent使用自定义的LLM
独立部署ChatGLM3-6B并提供HTTP API能力。自定义LLM封装对ChatGLM3-6B的访问。创建一个简单的Agent来使用自定义的LLM。
2024-04-07 00:09:37 2460
原创 LLM大语言模型(九):LangChain封装自定义的LLM
想基于ChatGLM3-6B用LangChain做LLM应用,需要先了解下LangChain中对LLM的封装。本文以一个hello world的封装来示例。
2024-04-06 09:00:00 1511
原创 LLM大语言模型(八):ChatGLM3-6B使用的tokenizer模型BAAI/bge-large-zh-v1.5
BGE embedding系列模型是由智源研究院研发的中文版文本表示模型。可将任意文本映射为低维稠密向量,以用于检索、分类、聚类或语义匹配等任务,并可支持为大模型调用外部知识。
2024-03-31 22:45:08 4250
原创 LLM资料:中文embedding库
理解LLM,就要理解Transformer,但其实最基础的还是要从词的embedding讲起。毕竟计算机能处理的只有数字,所以万事开头的第一步就是将要处理的任务转换为数字。
2024-03-28 20:00:52 1163
原创 LLM应用:Prompt flow vs LangChain
Prompt flow提供了一套开发工具,并通过实验来构建高质量的LLM应用程序,而不是一套框架(LangChain)
2024-03-27 22:00:59 1153
原创 LLM大语言模型(七):部署ChatGLM3-6B并提供HTTP server能力
部署ChatGLM3-6B并对外提供HTTP server能力
2024-03-16 21:23:39 1694
原创 ChatGLM3-6B独立部署提供HTTP服务failed to open nvrtc-builtins64_121.dll
RuntimeError: nvrtc: error: failed to open nvrtc-builtins64_121.dll. Make sure that nvrtc-builtins64_121.dll is installed correctly.
2024-03-16 18:09:01 1197
原创 Ray:Object creation will fail if spilling is required
在本地搭建了Ray的单节点服务,提交任务后,Ray报错提示空间不够报错信息如下:(raylet) [2023-03-24 11:06:38,311 E 821713 821740] (raylet) file_system_monitor.cc:105:/tmp/ray/session_2023-03-24_11-03-06_248168_820779 is over 95% full,available space: 5726846976; capacity: 1006449913856.Object c
2024-03-05 10:47:54 892
原创 LLM大语言模型(六):RAG模式下基于PostgreSQL pgvector插件实现vector向量相似性检索
在LLM的RAG场景下,使用PostgreSQL+pgvector插件,作为向量数据的管理后端,简单高效。
2024-02-07 16:19:46 1191
原创 LLM大语言模型(四):在ChatGLM3-6B中使用langchain
本文介绍了在ChatGLM3-6B中使用LangChain的案例。
2024-01-01 18:36:29 4910 5
原创 LLM大语言模型(三):使用ChatGLM3-6B的函数调用功能前先学会Python的装饰器
本文介绍了如何在ChatGLM3-6B中使用自定义函数,来扩展大模型的能力。
2023-12-24 20:20:40 2902 9
原创 LLM大语言模型(二):Streamlit 无需前端经验也能画web页面
Streamlit提供了一种非常便捷且高效的方式,让后端开发也能轻松的画出来简单的web页面。特别适合LLM这种页面比较简单的场景。
2023-12-17 11:27:15 3208
原创 LLM大语言模型(一):ChatGLM3-6B本地部署
LLM大语言模型工程化,在本地搭建一套开源的LLM,方便后续的Agent等特性的研究。
2023-12-03 17:25:03 5207 6
原创 文档向量化工具(二):text2vec介绍
在上一篇文章中介绍了,使用Apache Tika从不同格式的文件里提取文本信息。本篇文章将介绍,如何将提取出的文本信息转换为vector,以便后续基于vector做相似性检索。
2023-11-26 20:51:32 6458
原创 文档向量化工具(一):Apache Tika介绍
Apache Tika是一个内容分析工具包。该工具包可以从一千多种不同的文件类型(如PPT、XLS和PDF)中检测并提取元数据和文本。所有这些文件类型都可以通过同一个接口进行解析,这使得Tika在搜索引擎索引、内容分析、翻译等方面非常有用。
2023-11-19 11:27:18 2557
原创 k8s异常Too many requests: Too many requests, please try again later.
k8s异常Too many requests: Too many requests, please try again later. 梳理了k8s常见的限流措施。
2023-10-26 11:18:41 1666
原创 ffmpeg-go库的介绍
本质上ffmpeg-go是对命令行ffmpeg工具的封装,最终功能的实现都是通过在go里执行命令行工具来实现。在go代码中调用ffprobe命令行工具。
2023-10-15 23:09:49 1802
原创 开源的跨平台的音视频处理工具FFmpeg
FFmpeg是一个开源的跨平台的音视频处理工具,可以对音频、视频进行转码、裁剪、调节音量、添加水印等操作。广泛的格式支持。FFmpeg能够解码、编码、转码、复用、分离、流式传输、过滤和播放几乎人类和机器所创造的任何内容。它支持最古老且晦涩难懂的格式,也支持最前沿的技术。无论这些格式是由标准委员会、社区还是公司设计,都可以得到支持。高度可移植性。FFmpeg在各种构建环境、机器架构和配置下,在Linux、Mac OS X、Microsoft Windows以及BSDs和Solaris等操作系统上进行编译运行。
2023-07-29 23:36:44 1326
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人