- 博客(21)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 LangChain基础知识
这篇文档介绍了LangChain大模型应用开发框架的入门知识和核心内容，包括LangChain是什么、为什么需要它、典型使用场景、基础概念与模块化设计等。同时，还详细阐述了该框架的核心模块如标准化的大模型抽象、大模型应用的最佳实践、赋予应用记忆的能力、框架原生的数据处理流等。
2024-09-01 04:03:50
885
原创 大模型高效微调工具 Hugging Face PEFT
本文主要介绍了PEFT库的内容、与Transformers的集成、核心知识点如AutoPeftModels、PeftConfig、PeftType和TaskType，以及LoRA在文本生成和语音识别任务中的实战应用。
2024-08-18 03:07:56
1100
原创 02 嵌入式系统
本文主要讲述了嵌入式系统的组以及功能设计原理。同时，本文也会介绍嵌入式系统的基本情况、设计思想、组成部分和实时操作系统等特点，以及微内核、宏内核架构和嵌入式数据库等相关知识。
2024-08-12 03:52:09
625
原创 01 计算机系统基础-1
能有效地组织和管理系统中的各种软/硬件资源，合理地组织计算机系统工作流程，控制程序的执行，并且向用户提供一个良好的工作环境和友好的接口。
2024-07-30 23:03:38
873
1
原创 实战Transformers模型量化Facebook OPT
本文详细介绍了模型量化的理论和实践，包括量化方法、量化效果、微调过程以及实战操作。通过对比不同模型的量化效果，强调了量化在减少资源开销方面的优势。同时，演示了如何使用transformers库进行GPTQ的量化，并介绍了相关的配置参数。
2024-07-26 00:55:09
1256
2
原创 实战Transformers模型量化
本文主要讲述了模型量化技术在大模型微调中的重要性，包括如何使用transformers库进行模型量化，以及AWQ量化方法，从而强调了模型量化可以降低推理成本，减少计算资源和时间，优化大模型的微调过程。AWQ是一种从大模型中找到重要值的量化方法，可以避免使用数据集进行反向传播和矩阵分解。该方法在两个模型上进行测试，并与BNB的量化方法和原始的十六位浮点数方法进行比较，也鼓励实际操作使用AWQ来量化模型，并比较量化前后的指标差异。
2024-07-23 22:17:42
1186
原创 实战Transformers模型微调
本文主要讲述了在分布式、模型加速等应用中，transformers的一些基础训练模块的重要性。同时还介绍了datasets库，这个库可以用来加载数据集，就像加载模型一样。此外，还介绍了data sets库的主要版本，包括一点一和二点零版本。文章还提到了trainer的训练参数和matrix数据集，以及使用loss function来评估模型的方法。为了自动化这个过程，可以从数据集中随机抽取样本，并从预训练的模型中加载对应的tokenizer进行处理。
2024-07-21 03:54:26
810
原创 大模型开发工具库
Hugging Face Transformers是一个 Python库，允许用户下载和训练机器学习（ML）模型。它最初被创建用于开发语言模型，现在功能已扩展到包括多模态、计算机视觉和音频处理等其他用途的模型。
2024-05-03 00:19:04
841
3
原创 大模型微调技术揭秘——LoRA
受此启发，微软提出了低秩适配（LoRA）方法，设计了特定结构，在涉及矩阵乘法的模块中引入两个低秩矩阵A和B，以模拟完全微调过程。这相当于只对语言模型中起关键作用的低秩本质维度进行更新。
2024-04-16 01:46:44
1704
原创 大模型微调技术——PEFT
本文主要讲述了大模型的训练和微调成本较高，以及如何通过Prefix Tuning降低大模型微调成本的问题。此外，文中也涉及到大模型的训练难度和微调的复杂性，以及Prefix Tuning的原理和优势。同时，文中还介绍了如何使用Prefix Tuning进行模型微调的具体步骤和注意事项，以及Prefix Tuning在自然语言处理领域的应用前景。
2024-04-08 00:32:40
1911
原创 AI大模型基础
本文主要讲述人工智能（AI）的发展历程，从早起的符号主义和专家系统，到互联网兴起后的数据驱动，再到机器学习、深度学习和大模型的发展。通过本次学习，可以了解深度学习的重要性和价值，以及大模型如何输入和输出大数据。此外，本文还介绍了大模型微调的重要性和应用场景，以及大语言模型预训练的概念。
2024-03-24 04:05:47
1398
原创 数据特征分析方法总结
数据特征分析方法总结21世纪是大数据的时代，因为这些大数据中蕴含着时代发展的信息。如何科学地分析数据特征是数据分析师必须掌握的基础技能之一。因此，我今天主要希望通过理论推导并实现一些常用的数据特征分析方法来加强对数据特征处理的能力。分布分析分布分析:研究数据的分布特征和分布类型，分为定量数据和定性数据，并通过这两种类型来区分基本统计量。常用指标为：极差、频率分布情况、分组组距及组数# 读取数据data = pd.read_csv('data/深圳罗湖二手房信息.csv', engine='pyt
2022-04-04 03:44:41
21717
2
原创 机器学习序幕
机器学习序幕随着人工智能的不断发展，机器学习这门技术也越来越重要。为了更深入地理解这门技术，本文利用具体的案例来介绍机器学习的基础内容。同时，通过一个简单的案例开启了学习基于机器学习算法的模型之旅，达到帮助个人理解、梳理所学知识的目的。一、什么是机器学习？在不同场景下，我们或多或少总会遇到一些问题，且不同的问题会有不同的解决方案。在处理问题之前，我们首先必须要明确问题本身，并根据具体的问题确定目标。然后，通过使用不同的方法对已知的数据（输入数据）进行处理、分析得到这些数据的相关规律，再根据得到的规律对
2022-04-01 00:55:32
1783
原创 基于Navicat管理工具实现以客户为导向的数据库基本操作
以客户为导向的数据库基本操作前言随着信息时代的不断发展，大数据的存储和管理也越来越重要。我们常用的数据库管理工具有很多，例如MySQL管理工具phpMyAdmin、Navicat、DBeaver、MySQL Workbench 等。本文就以客户为导向的电商销售为应用背景，以Navicat为数据库管理工具复习MySQL的相关操作。一、Navicat是什么？Navicat是一套快速、可靠并价格较适宜的资料管理库管理工具，可用来化简资料库管理及降低系统管理成本。它的设计满足了资料库管理员、开发人员以及中小
2022-03-30 21:46:03
1328
原创 提高逻辑思维能力从说话开始
伴随着时代的发展，我们的工作与日常生活都在以快节奏的方式进行着。这就要求我们具有在最短的时间用最简洁的语言将事情讲清楚的能力。这种能力不仅要求我们控制说话的语气、语调、语速要适中，还要求我们具有极强的逻辑思维能力使得所说的内容表现出具有极强的逻辑性。逻辑思维能力往往离不开结构化思维，而形成结构化思维就必须掌握四个特征。第一，结论先行。这是逻辑性思维的第一要义，即先说结论后说原因和分析。在我们日常生活中，我们可能没有足够的时间和耐心去听别人陈述事情的过程，又或者我们说得太多让倾听者并不知道我们真正想表达的
2022-03-29 00:06:50
512
原创 静静地看着别人打自己的脸，默默地等着自己被打脸
当我们从大学步入社会时，内心总会充满好奇与期待。求职之路便成为新人步入社会的第一道坎，而且是求生路上最充满魔幻色彩的坎儿。第一，对于很多人来说，你对自己的定位并没有形成清晰的认识，例如自己性格、技能、从事的方向等等。这就决定了很多人需要经历一段迷茫期。迷茫期的我们在求职路上会碰上迷茫的色彩，就比如说，海投简历，海投的简历中还有一海的领域方向。我们也就是在海选中，慢慢去了解每个关注我、联系我、认可我并向我投出橄榄枝的企业以及该企业重点研究方向。于是，我们就在没有选择中开始了选择，选择中又包括了企业、岗位和
2022-03-28 09:00:00
144
原创 HCIP知识点2-STP
STPSTP（spanning-tree protocol）,即生成树协议，是为了解决交换机中2层数据转发环路的问题。根据网络的不同特征，还有两个主要的协议，我们实际操作中可以将其转换成STP，再加以解决。1.RSTP（rapid spanning-tree protocol）,快速生成树协议；2.MSTP（multiple spanning-tree protocol）,多生成树协议。...
2019-09-22 22:51:37
1158
原创 HCIP学习的第一天
@网络通信与路由OSI（开放式系统互联参考模型）分层依据基于每层的不同功能分成七层：1、物理层2、数据链路层3、网络层4、传输层5、会话层6、表示层7、应用层网络架构模型具体内容以及实现网络的正常通信：1、客户端可以发送报文（客户端可以理解为现实生活中的电脑设备）；2、传输网络实现传输报文；3、服务器可以接受报文。“交换”与“路由” 从最初的网线传输发展为中继器...
2019-09-21 13:12:56
1384
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人